УСТРОЙСТВО ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК H04N19/00 

Перекрестные ссылки на родственные заявки

Данная заявки является повторной международной заявкой № PCT/JP2013/067114, подданной в патентное ведомство Японии как принимающее патентное ведомство 21 июня 2013 г., которое имеет приоритет над заявкой на патент Японии №2012-147885, поданной в патентное ведомство Японии 29 июня 2012 г и заявкой на патент Японии 2012-183164, поданной в патентное ведомство Японии 22 августа 2012 г, которые во всей полноте включены в данное описание посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству для обработки изображений и способу обработки изображений. В частности, настоящее изобретение относится к устройству для обработки изображений и способу обработки изображения, способное с высокой степенью точности воспроизводить динамический диапазон изображения.

Уровень техники

В последние годы, устройства, обрабатывающие информацию изображения цифрового формата, которые, в данном случае, имеют отношение к технологии сжатия и кодирования изображений посредством способов кодирования с использованием избыточности уникальной информации изображения и выполнения сжатия с помощью ортогонального преобразования, такого как дискретного косинусного преобразования или компенсации движения, для передачи и накопления информации с высокой эффективностью. Этот способ кодирования представляет собой, например, MPEG (Экспертная группа по вопросам движущегося изображения), Н. 264 или MPEG - 4 Часть 10 (Усовершенствованное кодирование видеосигнала, именуемое в дальнейшем AVC).

В настоящее время, для достижения более высокой эффективности кодирования, чем H.264/AVC, разрабатывается технология кодирования под названием HEVC (Высокоэффективное видеокодирование) как стандарт JCTVC (Объединенная команда по видеокодированию), которая является совместной организацией стандартизации ITU-T и ISO/IEC (см., непатентный документ 1).

В проекте HEVC, на текущий момент времени, информация тонального отображения передается в SEI (дополнительная расширенная информация), как показано на фиг. 1.

Контент информации тонального отображения является таким же, как стандартизированный в AVC, как показано на фиг. 2 (см. непатентный документ 2).

Список ссылок

Непатентный документ

Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand "Рабочий проект 7 высокоэффективного видеокодирования (HEVC)", JCTVC-I1003, вер. 5, 2012. 6.12.

Непатентный документ 2: D.1.24 ITU-T H.264 ISO/IEC 14496-10

Сущность изобретения

Задачи, решаемые с помощью изобретения

В последнее время, камеры и дисплеи могут захватывать или отображать изображения высокого динамического диапазона.

В такой ситуации, несмотря на то, что требуется расширение динамического диапазона декодированного изображения для отображения изображений различных динамических диапазонов, динамический диапазон декодированного изображения не определен в непатентном документе 1.

В свете этой ситуации настоящее изобретение может с высокой точностью воспроизводить динамический диапазон изображения.

Решение задач

Устройство обработки изображений согласно первому аспекту настоящего изобретения имеет: блок кодирования, который выполняет операцию кодирования изображения и генерирует битовый поток; блок установки, который устанавливает информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, которые будут присвоены проявленному изображению, на захваченное изображение; и блок передачи, который передает битовый поток, генерируемый блоком кодирования, и информацию о характеристиках динамического диапазона, установленного блоком установки.

Блок установки может установить информацию кода, которая указывает на код динамического диапазона, назначенного для проявленного изображения, на захваченное изображение, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде, которая указывает на код для назначения на проявленное изображение, на уровень белого захваченного изображения как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня белого, который указывает на код, который будет назначен проявленное изображение, на уровень белого захваченного изображения как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о максимальном коде уровня белого, которая указывает на максимальное значение кода, который будет назначен на уровень белого проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня черного, которая указывает код уровня черного проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию о коде уровня серого, которая указывает на код уровня серого проявленного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию максимального уровня белого, которая указывает на максимальное значение уровня белого захваченного изображения, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию, которая указывает на диапазон яркости в области, представляющей интерес изображения, полученного путем выполнения операции декодирования в битовом потоке, как информация о характеристиках динамического диапазона.

Блок установки может установить информацию, которая указывает на положение и смещение области, представляющей интерес изображения, полученного путем выполнения операции декодирования в битовом потоке, как информация о характеристиках динамического диапазона.

Блок передачи может передавать информацию о характеристиках динамического диапазона как дополнительную информацию, используемую для отображения изображения, полученного путем выполнения операции декодирования в битовом потоке.

Блок передачи может передавать информацию о характеристиках динамического диапазона как дополнительную расширенную информацию, полученную посредством расширения существующей дополнительной информации.

Блок передачи может передавать информацию о характеристиках динамического диапазона, как tone_mapping_information SEI (Дополнительная расширенная информация).

Блок передачи может расширить model_id, используемый для передачи информации о характеристиках динамического диапазона посредством таргетирования на tone_mapping_information SEI, и передачи информации о характеристиках динамического диапазона, как SEI.

Блок передачи может передавать информацию о характеристиках динамического диапазона как VUI (информация о доступности видео), которая указывает на доступность изображения с помощью последовательности.

Блок кодирования может выполнять операцию кодирования изображения в соответствии со способом кодирования, совместимым с AVC/H.264.

Способ обработки изображения в соответствии с первым аспектом настоящего изобретения включает в себя: выполнение операции кодирования изображения для генерирования битового потока; установку информации о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, которые назначаются на проявленное изображение, захваченное изображение; и передачу сгенерированного битового потока и установку информации о характеристиках динамического диапазона.

Устройство обработки изображения в соответствии со вторым аспектом настоящего изобретения имеет: блок декодирования, который выполняет операцию декодирования в битовом потоке и генерирует изображение; и блок корректировки изображения, который использует информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, назначенные на проявленное изображение, на захваченное изображение, и корректирует динамический диапазон изображения, сгенерированный блоком декодирования.

Устройство обработки изображения дополнительно имеет блок приема, который принимает битовый поток и информацию характеристик, и блок декодирования может выполнять операцию декодирования в битовом потоке, принятый блоком приема, и блок корректировки изображения может использовать информацию о характеристиках динамического диапазона, принятую блоком приема, и корректировать динамический диапазон изображения, генерируемого блоком декодирования.

Способ обработки изображения в соответствии со вторым аспектом настоящего изобретения включает в себя: выполнение операции декодирования в битовом потоке и генерирование изображения; и, используя информацию о характеристиках динамического диапазона, которая указывает на характеристики динамического диапазона, назначенные на проявленное изображение, на захваченное изображение, и корректировку динамического диапазона сгенерированного изображения.

В соответствии с первым аспектом настоящего изобретения, выполняется операция кодирования изображения и генерируется битовый поток, и информация о характеристиках динамического диапазона, которая указывает характеристики динамического диапазона для назначения на проявленное изображение, устанавливается на захваченном изображении. Дополнительно передаются сгенерированный битовый поток и установленная информация о характеристиках динамического диапазона.

В соответствии со вторым аспектом настоящего изобретения, выполняется операция декодирования в битовом потоке и генерируется изображение. Дополнительно информация о характеристиках динамического диапазона, которая указывает характеристики динамического диапазона, назначенные на проявленное изображение, используется для захваченного изображения, и динамический диапазон сгенерированного изображения корректируется.

Кроме того, указанное выше устройство обработки изображений может быть независимым устройством или может быть внутренним блоком, который образует одно устройство кодирования изображения или устройство декодирования изображения.

Полезные эффекты изобретения

В соответствии с первым аспектом настоящего изобретения, можно кодировать изображения. В частности, можно с высокой точностью воспроизводить динамический диапазон изображения.

В соответствии со вторым аспектом настоящего изобретения, можно декодировать изображения. В частности, можно с высокой точностью воспроизводить динамический диапазон изображения.

Краткое описание чертежей

Фиг. 1 представляет собой вид, показывающий пример синтаксиса SEI.

Фиг. 2 представляет собой вид, показывающий пример синтаксиса SEI тонального отображения.

Фиг. 3 является блок-схемой, иллюстрирующей пример структуры первого варианта осуществления устройства кодирования, к которой применяется настоящий способ.

Фиг. 4 представляет собой блок-схему, иллюстрирующую примерную структуру блока кодирования, показанного на фиг. 1.

Фиг. 5 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 6 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 7 представляет собой вид для объяснения информации о характеристиках динамического диапазона.

Фиг. 8 представляет собой вид, иллюстрирующий пример SEI синтаксиса тонального отображения.

Фиг. 9 представляет собой вид, иллюстрирующий другой пример SEI синтаксиса тонального отображения.

Фиг. 10 представляет собой вид, иллюстрирующий таблицу значений показателей, указанных чувствительностью камеры и индекс экспозиции.

Фиг. 11 представляет собой вид, иллюстрирующий пример SEI синтаксиса динамического диапазона яркости.

Фиг. 12 представляет собой вид, иллюстрирующий пример синтаксиса VUI.

Фиг. 13 представляет собой вид, иллюстрирующий другой пример синтаксиса VUI.

Фиг. 14 представляет собой вид, иллюстрирующий другой пример синтаксиса VUI.

Фиг. 15 представляет собой вид для пояснения синтаксиса информации о характеристиках динамического диапазона.

Фиг. 16 является блок-схемой алгоритма для пояснения операции генерирования в устройстве кодирования, как показано на фиг. 3.

Фиг. 17 является блок-схемой алгоритма для подробного пояснения операции кодирования, показанной на фиг. 16.

Фиг. 18 является блок-схемой алгоритма для подробного пояснения операции кодирования, показанной на фиг. 16.

Фиг. 19 показывает блок-схему, иллюстрирующую примерную структуру первого варианта осуществления устройства декодирования, к которому применяется настоящий способ.

Фиг. 20 показывает блок-схему, иллюстрирующую пример структуры устройства декодирования, показанного на фиг. 19.

Фиг. 21 является блок-схемой алгоритма для пояснения операции отображения в устройстве декодирования, показанного на фиг. 19.

Фиг. 22 является блок-схемой алгоритма для подробного пояснения операции декодирования, показанной на фиг. 21.

Фиг. 23 показывает блок-схему, иллюстрирующую примерную структуру второго варианта осуществления устройства кодирования, к которому применяется настоящий способ.

Фиг. 24 показывает блок-схему, иллюстрирующую примерную структуру блока кодирования, показанного на фиг. 23.

Фиг. 25 показывает блок-схему, иллюстрирующую примерную структуру второго варианта выполнения устройства декодирования, к которому применяется настоящий способ.

Фиг. 26 показывает блок-схему, иллюстрирующую пример структуры устройства декодирования, показанную на фиг. 25.

Фиг. 27 представляет собой вид, иллюстрирующий пример способа кодирования многоракурсного изображения.

Фиг. 28 представляет собой вид, иллюстрирующий примерную основную структуру устройства кодирования многоракурсного изображения, к которому настоящее изобретение применяется.

Фиг. 29 представляет собой вид, иллюстрирующий примерную основную структуру устройства кодирования многоракурсного изображения, к которому настоящее изобретение применяется.

Фиг. 30 представляет собой вид, иллюстрирующий пример иерархического способа кодирования изображения.

Фиг. 31 представляет собой вид, иллюстрирующий основной пример структуры устройства иерархического кодирования изображения, к которому настоящее изобретение применяется.

Фиг. 32 представляет собой вид, иллюстрирующий основной пример структуры устройства иерархического декодирования изображения, к которому настоящее изобретение применяется.

Фиг. 33 представляет собой блок-схему, иллюстрирующую основной пример структуры компьютера.

Фиг. 34 показывает блок-схему, иллюстрирующую пример схематической структуры телевизионного устройства.

Фиг. 35 показывает блок-схему, иллюстрирующую пример схематической структуры портативного телефонного устройства.

Фиг. 36 показывает блок-схему, иллюстрирующую пример схематической структуры устройства записи/воспроизведения.

Фиг. 37 показывает блок-схему, иллюстрирующую пример схематической структуры устройства формирования изображения.

Описание вариантов осуществления

Ниже приводится описание способов осуществления настоящего изобретения (далее упоминается как варианты осуществления). Объяснение будет сделано в следующем порядке.

1. Первый вариант осуществления (устройство кодирования/декодирования согласно HEVC технологии)

2. Второй вариант осуществления (устройство кодирования/декодирования согласно AVC технологии)

3. Третий вариант осуществления (устройство кодирования/декодирования многоракурсного изображения)

4. Четвертый вариант осуществления (устройство иерархического кодирования/декодирования изображения)

5. Пятый вариант осуществления (компьютер)

6. Пример применения

Первый вариант осуществления

Пример структуры первого варианта осуществления устройства для кодирования

Фиг. 3 представляет собой блок-схему, иллюстрирующую примерную структуру в соответствии с первым вариантом осуществления устройства кодирования в качестве устройства обработки изображения, к которому применяется настоящее изобретение.

Устройство 1 кодирования, показанное на фиг. 3, имеет блок 2 кодирования, блок 3 установки и блок 4 передачи, и кодирует изображения, такие как захваченные изображения, в соответствии с HEVC технологией.

Более конкретно, блок 2 кодирования в устройстве 1 кодирования принимает в качестве входного сигнала входные данные изображения, такого как покадровое захваченное изображение. Блок 2 кодирования кодирует входной сигнал в соответствии с HEVC технологией и поставляет результирующие кодированные данные в блок 3 установки.

Блок 3 установки устанавливает SPS (набор параметров последовательности), PPS (набор параметров изображения), VUI (информация о доступности видео), которые указывают характеристики (доступность) изображения, соответствующие кодированным данным в последовательности и SEI (дополнительная расширенная информация). Блок 3 установки генерирует кодированный поток из набора SPS, PPS, VUI и SEI и кодированные данные, поставленные из блока 2 кодирования. Блок 3 установки поставляет закодированный поток в блок 4 передачи.

Блок 4 передачи передает закодированный поток, поставленный из блока 3 установки в устройство декодирования, описанное ниже.

Пример структуры блока кодирования

Фиг. 4 представляет собой блок-схему, иллюстрирующую пример структуры блока 2 кодирования, показанного на фиг. 3.

Блок 2 кодирования 2, как показано на фиг. 4, включает в себя A/D конвертер 11, буфер 12 реконфигурации экрана, арифметическое устройство 13, блок 14 ортогонального преобразования, блок 15 квантования, блок 16 кодирования без потерь, буфер 17 накопления, блок 18 обратного квантования, блок 19 обратного ортогонального преобразования, блок 20 сложения, фильтр 21 устранения блочности, память 22 кадра, переключатель 23, блок 24 внутрикадрового предсказания, блок 25 предсказания движения/компенсации, блок 26 выбора предсказанного изображения и блок 27 управления скоростью передачи.

Более того, между фильтром 21 устранения блочности и памятью 22 кадра предусмотрены адаптивный фильтр 41 смещения и адаптивный контурный фильтр 42.

В частности, A/D конвертер 11 блока 2 кодирования выполняет A/D преобразование покадрового входного изображения в качестве входного сигнала и выводит и сохраняет изображение в буфере 12 реконфигурации экрана. Буфер 12 реконфигурации экрана переставляет кадры изображения, хранящиеся в порядке отображения, так что кадры изображения расположены в порядке кодирования в соответствии со структурой GOP (Группа изображений), и выводит реконфигурированное покадровое изображение на арифметическое устройство 13, блок 24 внутрикадрового предсказания и блок 25 предсказания движения/компенсации.

Арифметическое устройство 13 вычисляет разность между предсказанным изображением, поставленным из блока 26 выбора предсказанного изображения, и поставляет целевое кодируемое изображение из буфера 12 реконфигурации экрана для выполнения кодирования. В частности, арифметическое устройство 13 выполняет кодирование путем вычитания предсказанного изображения, поставленного из блока 26 выбора предсказанного изображения, из выходного целевого кодируемого изображения из буфера 12 реконфигурации экрана. Арифметическое устройство 13 выводит результирующее изображение, как информацию об остаточной ошибке, в блок 14 ортогонального преобразования. Если какое-либо предсказанное изображение не подается из блока 26 выбора предсказанного изображения, то арифметическое устройство 13 выводит изображение, считанное из буфера 12 реконфигурации экрана в качестве информации об остаточной ошибке в блок 14 ортогонального преобразования.

Блок 14 ортогонального преобразования выполняет ортогональное преобразование информации об остаточной ошибке, подаваемой из арифметического устройства 13, и поставляет коэффициент, полученный в результате ортогонального преобразования в блок 15 квантования.

Блок 15 квантования квантует коэффициент, поставленный из блока 14 ортогонального преобразования. Квантованный коэффициент вводится в блок 16 кодирования без потерь.

Блок 16 кодирования без потерь получает информацию, указывающую на оптимальный режим внутреннего предсказания (в дальнейшем называемый как "информация режима внутрикадрового предсказания") из блока 24 внутрикадрового предсказания. Дополнительно, блок 16 кодирования без потерь получает информацию, указывающую на оптимальный режим внешнего предсказания (далее, упоминается как "информации о режиме внешнего предсказания"), вектора движения и информацию для определения опорного изображения из блока 25 предсказания движения/компенсации. Кроме того, блок 16 кодирования без потерь получает флаг хранения, индекс или смещение и тип информации в качестве информации фильтра смещения из адаптивного фильтра 41 смещения и получает коэффициент фильтрации из адаптивного контурного фильтра 42.

Блок 16 кодирования без потерь выполняет кодирование без потерь, такое как кодирование с переменной длиной (CAVLC (контекстно-зависимое адаптивное кодирование с переменной длиной кодового слова), например), или арифметическое кодирование (САВАС (контекстно-зависимое адаптивное бинарное арифметическое кодирование), например) квантованного коэффициента, поставленного из блока 15 квантования.

Кроме того, блок 16 кодирования без потерь выполняет кодирование без потерь информации режима внутрикадрового предсказания или информации режима внешнего предсказания, вектора движения, информации для указания опорного изображения, информации фильтра смещения и коэффициент фильтра как информации кодирования, относящейся к кодированию. Блок 16 кодирования без потерь поставляет и сохраняет информацию кодирования и коэффициент, обработанных согласно процессу кодирования без потерь, как кодированные данные, в буфер 17 накопления. Кроме того, информация кодирования, обработанная согласно процессу кодирования без потерь, может быть информацией заголовка коэффициента, обработанного согласно процедуре кодирования без потерь.

Буфер 17 накопления временно хранит кодируемые данные, поступающие от блока 16 кодирования без потерь. Кроме того, буфер 17 накопления поставляет хранимые кодированные данные в блок 3 установки, как показано на фиг. 3.

Более того, квантованный коэффициент, который выводится из блока 15 квантования 15, также поставляется в блок 18 обратного квантования и затем подвергается обратному квантованию, поставляется в блок 19 обратного ортогонального преобразования.

Блок 19 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента, поставленного из блока 18 обратного квантования, и поставляет информацию о результирующей остаточной ошибке в блок 20 сложения.

Блок 20 сложения добавляет информацию остаточной ошибки, поставленной в качестве декодированного целевого изображения из блока 19 обратного ортогонального преобразования, к предсказанному изображению, поставленное из блока 26 выбора предсказанного изображения, и получает локально декодированное изображение. Кроме того, если нет предсказанных изображений, поставляемые из блока 26 выбора предсказанного изображения, блок 20 сложения устанавливает информацию остаточной ошибки, поставленной из блока 19 обратного ортогонального преобразования, как локально декодированное изображение. Блок 20 сложения поставляет локально декодированное изображение в фильтр 21 устранения блочности и поставляет локально декодированное изображение в память 22 кадров.

Фильтр 21 устранения блочности выполняет фильтрацию локально декодированного изображения, поставленного из блока 20 сложения, для устранения артефактов блочности. Фильтр 21 устранения блочности поставляет результирующее изображение в адаптивный фильтр 41 смещения.

Адаптивный фильтр 41 смещения выполняет процесс адаптивной фильтрации смещения (SAO: адаптивная выборка смещения), главным образом, удаляя кольцеобразование из изображения после адаптивной фильтрации деблокинга фильтром 21 устранения блочности.

Более конкретно, адаптивный фильтр 41 смещения определяет тип операции адаптивной фильтрации смещения на LCU (наибольшая кодирующая ячейка), которая является самой большой кодирующей ячейкой, и вычисляет смещение, используемое для этой операции адаптивной фильтрации смещения. Адаптивный фильтр 41 смещения использует вычисленную величину смещения, и выполняет операцию адаптивной фильтрации смещения определенного типа изображения, которое обработано посредством адаптивной фильтрации устранения артефактов блочности. Дополнительно, адаптивный фильтр 41 смещения поставляет изображение, обработанное в процессе адаптивной фильтрации смещения, в адаптивный контурный фильтр 42.

Более того, адаптивный фильтр 41 смещения имеет буфер, который хранит величину смещения. Адаптивный фильтр 41 смещения принимает решение относительно того, будет ли использовано смещение для LCU, при выполнении операции адаптивной фильтрации устранения блочности, который уже был сохранен в буфере.

При определении, что величина смещения, используемая для выполнения операции адаптивной фильтрации устранения блочности, уже была сохранена в буфере, адаптивный фильтр 41 смещения устанавливает флаг сохранения, который указывает, сохранять или нет величину смещения в буфере, на значение (1 в этом случае), которое указывает, что величина смещения сохраняется в буфере.

Дополнительно, адаптивный фильтр 41 смещения поставляет на LCU в блок 16 кодирования без потерь флага хранения, который установлен на 1, индекс, который указывает место хранения величины смещения в буфере, и тип информации, которая указывает тип выполняемой адаптивным фильтром смещения операции.

Между тем, когда величина смещения, используемая для операции адаптивной фильтрации устранения блочности, еще не сохранена в буфере, адаптивный фильтр 41 смещения последовательно сохраняет данную величину смещения в буфере. Дополнительно, адаптивный фильтр 41 смещения устанавливает флаг хранения на величину (0 в этом случае), который указывает, что величина смещения не сохраняется в буфере. Кроме того, адаптивный фильтр 41 смещения поставляет на LCU в блок 16 кодирования без потерь флаг хранения, который установлен на 0, величину смещения и тип информации.

Адаптивный контурный фильтр 42 выполняет операцию посредством адаптивного контурного фильтра (ALF: Адаптивный контурный фильтр) изображения, которое подвергнуто адаптивной фильтрации смещения, поставленного из адаптивного фильтра 41 смещения, например, LCU. Для адаптивной операции контурным фильтром, например, используется, например, двумерный фильтр Винера. Само собой разумеется, что могут использоваться другие фильтры, отличные от фильтра Винера.

Более конкретно, адаптивный контурный фильтр 42 вычисляет на LCU коэффициент фильтра, используемый для адаптивной операции контурным фильтром таким образом, чтобы остаточная ошибка между исходным изображением, как выходное изображение с буфера 12 реконфигурации экрана, и изображением после адаптивной операции посредством контурного фильтра, является минимальной. Более того, адаптивный контурный фильтр 42 выполняет на LCU операцию адаптивной фильтрации посредством контурного фильтра изображения, подвергнутого адаптивной фильтрации смещения с использованием вычисленного коэффициента фильтра.

Адаптивный контурный фильтр 42 поставляет изображение, обработанное адаптивным контурным фильтром, в память 22 кадров. Дополнительно, адаптивный контурный фильтр 42 поставляет коэффициент фильтра в блок 16 кодирования без потерь.

Кроме того, несмотря на то, что адаптивный контурный фильтр выполняет операцию на LCU, блоки обработки адаптивного контурного фильтра не ограничиваются LCU. В то же время, за счет интеграции блоков обработки адаптивного фильтра 41 смещения и адаптивного контурного фильтра 42, можно эффективно осуществить операцию обработки.

Изображение, хранимое в памяти 22 кадров, затем выводится в качестве опорного изображения в блок 24 внутрикадрового предсказания или в блок 25 предсказания движения/компенсации через переключатель 23.

Блок 24 внутрикадрового предсказания выполняет операцию внутрикадрового предсказания всех кандидатов режимов внутрикадрового предсказания в ячейке и срезе блоков с использованием опорного изображения, которое считывается из памяти 22 кадров через переключатель 23, и не отфильтрованных посредством фильтра 21 устранения блочности.

Дополнительно, блок 24 внутрикадрового предсказания вычисляет значения стоимостной функции (подробности которого будут описаны ниже) всех кандидатов режимов внутрикадрового предсказания на основании изображения, считанного из буфера 12 реконфигурации экрана, и предсказанного изображения, генерируемого в результате операции внутрикадрового предсказания. Более того, блок 24 внутрикадрового предсказания затем определяет режим внутрикадрового предсказания с наименьшим значением стоимостной функции, чтобы быть оптимальным режимом внутрикадрового предсказания.

Блок 24 внутрикадрового предсказания поставляет предсказанное изображение, генерируемого в оптимальном режиме внутрикадрового предсказания, и соответствующее значение стоимостной функции в блок 26 выбора предсказанного изображения. При уведомлении о выборе предсказанного изображения, сгенерированного в оптимальном режиме внутрикадрового предсказания блоком 26 выбора предсказанного изображения, блок 24 внутрикадрового предсказания поставляет информацию о режиме внутрикадрового предсказания в блок 16 кодирования без потерь.

Следует отметить, что значение стоимостной функции также называется RD (функция, определяющая искажение в зависимости от скорости передачи) стоимость и рассчитывается посредством использования режима высокой сложности или режима низкой сложности, как указано в JM (Объединенная модель), которая является программным обеспечением в H.264/AVC, например.

В частности, когда используется режим повышенной сложности как способ вычисления значений стоимостной функции, конечные операции с кодированием без потерь будут осуществляться на временной основе на всех кандидатов режимов предсказания, и значение стоимостной функции выражается следующим уравнением (1), которое рассчитывается для каждого из режимов предсказания.

D представляет собой разницу (искажение) между исходным изображением и декодированным изображением, R представляет собой битовую скорость генерации, включающую в себя коэффициент ортогонального преобразования, и λ представляет собой множитель Лагранжа, заданный как функция параметра квантования QP.

Если режим низкого сложности используется как способ вычисления значений стоимостной функции, с другой стороны, декодированные изображения генерируются и биты заголовка, такие как информация, указывающая режим предсказания, вычисляется во всех кандидатах режимов предсказания. Значение стоимостной функции выражается следующим уравнением (2) и затем вычисляется для каждого из режимов предсказания.

D представляет собой разницу (искажение) между исходным изображением и декодированным изображением, Header_Bit представляет бит заголовка, соответствующий режиму предсказания и QPtoQuant является функцией, заданной как функция параметра квантования QP.

В режиме низкой сложности декодированные изображения просто генерируется во всех режимах предсказания, и нет необходимости выполнять кодирование без потерь. Соответственно, величина вычислений имеет низкое значение.

Блок 25 предсказания движения/компенсации выполняет операцию предсказания движения/компенсации во всех кандидатах режимах внешнего предсказания в ячейке и блоках среза. Более конкретно, блок 25 предсказания движения/компенсации обнаруживает векторы движения всех кандидатов режимов внешнего предсказания в ячейке и блоках среза на основании изображения, поставленного из буфера 12 реконфигурации экрана, и отфильтрованного опорного изображения, считанного из памяти 22 кадров, через коммутатор 23. Кроме того, блок 25 предсказания движения/компенсации выполняет операцию компенсации на опорном изображении на основании данного вектора движения в ячейке и блоках среза, и генерирует предсказанное изображение.

В этом случае блок 25 предсказания движения/компенсации вычисляет значения стоимостной функции для всех кандидатов режимов внешнего предсказания на основании изображения и предсказанного изображения, поставленного из буфера 12 реконфигурации экрана, и определяет режим внешнего предсказания наименьшего значения стоимостной функции как оптимальный режим внешнего предсказания. Дополнительно, блок 25 предсказания движения/компенсации поставляет значение стоимостной функции оптимального режима внешнего предсказания и соответствующее предсказанное изображение в блок 26 выбора предсказанного изображения. При уведомлении о выборе предсказанного изображения, сгенерированного в оптимальном режиме внешнего предсказания блоком 26 выбора предсказанного изображения, блок 25 предсказания движения/компенсации вырабатывает информацию о режиме внешнего предсказания, соответствующий вектор движения и информацию, для указания опорного изображения, в блок 16 кодирования без потерь.

Блок 26 выбора предсказанного изображения определяет режим предсказания наименьшего значения стоимостной функции оптимального режима внутрикадрового предсказания и оптимального режима внешнего предсказания как оптимальный режим предсказания на основании значений стоимостной функции, поставленных из блока 24 внутрикадрового предсказания и блока 25 предсказания движения/компенсации. Кроме того, блок 26 выбора предсказанного изображения затем поставляет предсказанное изображение в оптимальном режиме предсказания в арифметическое устройство 13 и блок 20 сложения. Блок 26 выбора предсказанного изображения также уведомляет блок 24 внутрикадрового предсказания или блок 25 предсказания движения/компенсации выбранного предсказанного изображения в оптимальном режиме предсказания.

На основании кодированных данных, сохраненных в буфере 17 накопления, блок 27 управления скоростью передачи управляет скоростью выполнения операции квантования блоком 15 квантования так, чтобы не вызвать переполнение или опустошение буфера.

Пример информации характеристик динамического диапазона

Далее будет приведено описание информации характеристик динамического диапазона, установленных блоком 3 установки, как показано на фиг. 3, со ссылкой на фиг. 5. Кроме того, значения на вертикальной оси и горизонтальной оси, показанные на фиг. 5, являются примерными и они не ограничиваются этими значениями.

В примере на фиг. 5, горизонтальная ось представляет уровень белого захваченного изображения. Вертикальная ось представляет цифровой код, присвоенный проявленному изображению. Проявленное изображение представляет собой изображение, градация которого представлена числом битов.

800% на горизонтальной оси является значением чувствительности камеры и оптимальной экспозиции (в момент захвата изображения и во время проявления) и максимальной яркости в момент захвата изображения. Это значение устанавливается и передается как camera_iso_sensitivity и max_image_white_level которые являются информацией характеристик динамического диапазона.

Кроме того, хотя значения чувствительности камеры и оптимальной экспозиции и максимальной яркости в момент захвата изображения имеют одинаковое значение в этом примере, эти значения различаются в некоторых случаях.

Значение (940) на вертикальной оси, соответствующее максимальному уровню белого, является цифровым значением максимального уровня белого, который назначен проявленному изображению, и это значение устанавливается и передается на сторону декодирования как max_white_level_code_value которое является информацией характеристик динамического диапазона.

100% на горизонтальной оси является опорным значением (уровень белого) дисплея. Значение по вертикальной оси, соответствующее этому уровню белого, является цифровым значением уровня белого (белый 100%), которое назначается проявленному изображению, и это значение устанавливается и передается на сторону декодирования как white_level_code_value, которое является информацией характеристик динамического диапазона.

20% на горизонтальной оси является уровнем (уровень серого), который, как правило, используется в качестве опорной экспозиции, которая указывает на серый и во многих случаях устанавливается на стороне камеры. Значение по вертикальной оси, соответствующее этому уровню серого, является цифровым значением уровня серого (белый 20%), которое назначается на проявленное изображение, и это значение устанавливается и передается на сторону декодирования как gray_level_code_value, которое является информацией характеристик динамического диапазона.

0% на горизонтальной оси является уровнем черного. Значение (64) на вертикальной оси, соответствующее этому уровню черного, является цифровым значением уровня черного (белый 0%), которое назначается на проявленное изображение, и это значение устанавливается и передается на сторону декодирования как black_level_code_value, которое является информацией характеристик динамического диапазона.

Как описано выше, код информации, который указывает на код динамического диапазона для назначения на проявленное изображение, устанавливается на захваченное изображение как информация характеристик динамического диапазона и передается на сторону декодирования. То есть информация характеристик динамического диапазона, которая указывает на информацию характеристик динамического диапазона для назначения на проявленное изображение, устанавливается на захваченном изображении и передается на сторону декодирования.

Эта информация характеристик динамического диапазона обозначается контентом создающей стороны и передается на сторону дисплея (декодирующая сторона) как информация, которая указывает на качество контента (информация, которая указывает на высокое качество информации изображения, относится к уровню белого, указывая на то, что, например, динамический диапазон шире, чем у существующего контента, и информация указывает на высокий потенциал контента).

Сторона, создающая контент, обеспечивает (состояние) изображение, предназначенное для отображения. Сторона отображения выполняет операцию расширения (увеличение) или сужения (уменьшение) динамического диапазона на основании этой информации. Дополнительно, со ссылкой на эту информацию, сторона отображения может выполнить следующую операцию с высокой точностью.

Когда, например, выполняется приема входного изображения более высокого динамического диапазона, чем характеристики дисплея на стороне отображения, сторона отображения может выполнить операцию по уменьшению диапазона с использованием, например, тонального отображения в соответствии с возможностями дисплея стороны отображения.

И наоборот, при приеме входного изображения низкого динамического диапазона, чем возможности дисплея стороны отображения, сторона отображения может выполнять операцию увеличения диапазона с использованием, например, тонального отображения в соответствии с возможностью дисплея на стороне отображения.

Хотя, когда эта информация не предоставляется, стороне отображения необходимо проанализировать декодированное изображение и выполнять тональное отображение, посредством передачи информации характеристик динамического диапазона не нужно анализировать декодированное изображение и с высокой степенью корректировать динамический диапазон.

Кроме того, как показано на фиг. 6, в дополнение к whit_level_code_value, можно установить и передать множество white_level_code_value между black_level_code_value и max_white_level_code_value.

Фиг. 6 иллюстрирует пример, где white_level_code_value_0 через white_level_code_value_4 установлены между 0% и 800% как уровень белого захваченного изображения, и передаются.

Дополнительно, хотя был описан пример в приведенном выше описании, где max_white_level_code_value, white_level_code_value и black_level_code_value установлены как значения max_white_level_code_value, white_level_code_value и black_level_code_value могут быть установлены и переданы как диапазоны.

Фиг. 7 представляет собой вид, иллюстрирующий пример информации характеристик динамического диапазона.

Информация характеристик динамического диапазона включает в себя camera_iso_sensitivity, output_exposure_index, screen_lw, black_level_code_value, gray_level_code_value, white_level_code_value и max_white_level_code_value.

Как описано выше со ссылкой на фиг. 5, camera_iso_sensitivity обозначает чувствительность камеры в момент захвата изображения. output_exposure_index указывает на индекс экспозиции (то есть индекс экспозиции во время проявления), установленный для использования в процессе проявления изображения. ref_screen_lw указывает на опорное значение яркости отображения уровня белого, установленного для использования в процессе проявления изображения.

Как описано со ссылкой на фиг. 5, black_level_code_value, gray_level_code_value, white_level_code_value и max_white_level_code_value указывают на код данных яркости, к которому назначены уровень черного, уровень белого, уровень серого и максимальный уровень белого.

То есть информация характеристик динамического диапазона желательно включает в себя значение максимальной яркости (захваченного изображения) во время захвата изображения, оптимальное значение экспозиции во время захвата изображения, оптимальное значение экспозиции (проявления изображения) во время проявления, цифровое значение, к которому максимальный уровень белого цвета после проявления назначается, цифровое значение, к котором уровень белого (белый 100%) после проявления назначается, цифровое значение, к которому уровень серого после проявления назначается, цифровое значение, к которому уровень черного после проявления назначается и цифровое значение между белым и 100% максимальным белым 0% после проявления.

Эти элементы информации характеристик динамического диапазона передаются на сторону декодирования в соответствии с одним из способов с 1 по 4 передачи, описанных ниже.

Во-первых, пример передачи информации характеристик динамического диапазона посредством расширения существующей SEI (дополнительная расширенная информация) будет описан в качестве способа 1 передачи со ссылкой на фиг. 8. Фиг. 8 представляет собой вид, иллюстрирующий пример тонового отображения SEI (tone_mapping_information SEI). SEI является дополнительной информацией, которая используется для отображения изображения, полученного путем выполнения операции декодирования кодированного потока.

Как указано во фрейме на фиг. 8, информация характеристик динамического диапазона устанавливается на тональное отображение SEI и передается путем расширения ID модели (model_id)=4 в тональном отображении SEI.

Кроме того, во фрейме, camera_iso_sensitivity и output_exposure_index, которые не выделены, являются существующей информацией (предшествующий уровень техники) установленных параметров камеры. Между тем, использование этих элементов информации в кодированном битовом потоке и передача кодированного битового потока, или использование этих элементов информации и корректировка динамического диапазона отличаются от предшествующего уровня техники.

С другой стороны, во фрейме, ref_screen_lw, max_image_white_level, black_level_code_value, white_level_code_value и max_white_level_code_value, которые заштрихованы, которые являются вновь установленные с помощью параметров, и отличаются от предшествующего уровня техники.

Между тем, хотя различные компоненты используются в RGB в предшествующем тональном отображении SEI, информация характеристик динамического диапазона устанавливает составляющую яркости декодированного изображения как целевую.

Дополнительно, TBD является определенным значением, и представляет собой значение, установленное заранее или набор параметров при создании контента.

Фиг. 9 представляет собой вид, иллюстрирующий другой пример тонального отображения SEI.

Также в примере на фиг. 9, как указано во фрейме, информация характеристик динамического диапазона устанавливается на тональное отображение SEI и передается путем расширения ID модели (model id)=4 в тональном отображении SEI.

camera_iso_sensitivity_idc указывает на код, который указывает на величину чувствительности, полученной камерой. Значение этого кода указывается в таблице на фиг. 10 и описывается ниже. Когда camera_iso_sensitivity_idc относится к Extended_ISO, camera_iso_sensitivity в следующей строке представляет ISO_number. То есть, установив camera_iso_sensitivity_idc как Extended_ISO, можно установить camera_iso_sensitivity_idc на желаемое значение.

exposure_index_idc указывает на код, который указывает индекс экспозиции в момент захвата изображения. Значение этого кода указывается в таблице на фиг. 10 и описывается ниже. Когда exposure_index_idc относится к Extended_ISO, exposure_index_rating в следующей строке представляет ISO_number. То есть, установив exposure_index_idc как Extended_ISO, можно установить exposure_index_idc на желаемое значение.

sign_image_exposure_value указывает на относительный код экспозиции во время проявления по отношению к значению экспозиции во время захвата изображения, image_expoure_value0 указывает численное значение относительного значения экспозиции в момент проявления по отношению к значению экспозиции во время захвата изображения. image_expoure_valuel указывает значение доминатора относительных значений экспозиции в момент проявления по отношению к значению экспозиции во время захвата изображения.

То есть путем указания относительных значений, сколько значений экспозиции уменьшает использование sign_image_exposure_value, image_expoure_value0 и image_expoure_valuel во время проявления по сравнению со временем захвата изображения, можно получить величину экспозиции (output_exposure_index на фиг. 8) во время проявления. Посредством этого, значение экспозиции во время проявления может быть представлено в виде десятичного числа.

ref_screen_lw является контентом, созданным при условии, что cd/м2 (кандела) контент отображается белым, и указывает, что контент должен быть отображен этим белым.

max_image_white_level указывает на динамический диапазон яркости изображения, которое отображается в процентах от целого числа со ссылкой на опорный уровень белого.

Как и в примере, показанном на фиг. 8, black_level_code_value, white_level_code_value и max_white_level_code_value указывают код данных яркости, к которому уровень черного, уровень белого и максимальный уровень белого назначены.

Кроме того, аналогично примеру на фиг. 8, также и в примере на фиг. 9, во фрейме camera_iso_sensitivity, exposure_index_idc, sign_image_exposure, image_expoure_value0 и image_expoure_valuel, которые не заштрихованы, является существующей информацией (предшествующий уровень техники) как параметры настройки камеры. Использование этих элементов информации в кодированном битовом потоке и передача кодированного битового потока, или использование этих элементов информации и корректировка динамического диапазона отличаются от предшествующего уровня техники.

С другой стороны, во фрейме, ref_screen_lw, max_image_white_level, black_level_code_value, white_level_code_value и max_white_level_code_value, которые заштрихованы является вновь установленными с помощью параметров, и отличаются от предшествующего уровня техники.

Фиг. 10 представляет собой вид, иллюстрирующий таблицу значений показателей, указанных величиной чувствительности камеры, и показателей, указанных индексом экспозиции.

Когда, например, показатель равен 0, то число ISO конкретно не указано. Когда показатель равен 1, то 10 указывается как число ISO. Если показатели равны с 2 по 30, то значения ISO указаны, хотя и не показаны на чертеже.

Если показатели равны с 31 о 254, то число ISO зарезервированы. Когда показатель равен 255, Extended_ISO указывается как число ISO. Когда число ISO является Extended_ISO, то оба camera_iso_sensitivity_idc и exposure_index_idc могут указывать на требуемые значения, как описано выше со ссылкой на фиг. 9.

Далее будет описан способ установки нового (выделенного) SEI и передачи информации характеристик динамического диапазона как способ 2 передачи со ссылкой на фиг. 11. Фиг. 11 представляет собой вид, иллюстрирующий пример динамического диапазона SEI яркости (luminance_dynamic_range_information SEI).

То есть динамический диапазон SEI яркости (luminance_dynamic_range_info) является вновь установленный, как показано на фиг. 11. Дополнительно, как показано во фрейме на фиг. 11, информация характеристик динамического диапазона устанавливается в этом динамическом диапазоне SEI яркости и передается. Кроме того, информация характеристик динамического диапазона во фрейме на фиг. 11 является в основном такой же, как информация характеристик динамического диапазона, описанной выше со ссылкой на фиг. 8, и не будет повторно описана.

Кроме того, способ 3 передачи представляет собой способ передачи информации характеристик динамического диапазона, ассоциированный с вышеупомянутыми способами 1 и 2 передачи и VUI (информация о доступности видео) параметрами. VUI информация, которая указывает на доступность изображения в блоках последовательности.

Фиг. 12 представляет собой вид, иллюстрирующий пример синтаксиса VUI при объединении со способом 1 передачи. В качестве примера на фиг. 12, tone_mapping_flag (флаг тонального отображения) является флагом, который указывает информацию о наличии/отсутствии тонального отображения SEI. 1 показывает флаг тонального отображения, который указывает, что существует тональное отображение SEI, и 0 указывает на то, что тонального отображения SEI нет.

Фиг. 13 представляет собой вид, иллюстрирующий пример синтаксиса VUI при объединении со способом 2 передачи. В примере на фиг. 13, luminance_dynamic_range_flag (флаг динамического диапазона яркости) представляет собой флаг, который указывает на наличие/отсутствие информации, которая указывает на наличие или отсутствие динамического диапазона SEI яркости. 1 показывает на флаг динамического диапазона яркости, который указывает на наличие динамического диапазона SEI яркости, и 0 указывает на то, что не существует динамического диапазона SEI яркости.

Способ 4 передачи может передавать информацию характеристик динамического диапазона, как вышеупомянутый VUI параметр. То есть в этом случае вместо флага, показанного на фиг. 12 или фиг. 13 (или в дополнение к флагу), информация характеристик динамического диапазона передается как VUI параметр.

Между тем, когда информация характеристик динамического диапазона включается в состав SEI, информация характеристик динамического диапазона применима не только к HEVC технологии, но и к AVC технологии. Между тем, VUI включает в себя множество значений, используемых на стороне отображения, так что можно объединить информацию, когда информация характеристик динамического диапазона включена в состав VUI.

Фиг. 14 представляет собой вид, иллюстрирующий пример синтаксиса VUI в случае способа 4 передачи.

В синтаксисе VUI на фиг. 14, в верхней части фрейма, tone_mapping_flag (флаг тонального отображения) как описано на фиг. 12, и флаг тонального отображения равен 1, когда незамедлительно описана информация характеристик динамического диапазона (информация характеристик динамического диапазона не может быть описана непосредственно тех пор, пока она не включена в состав VUI), и равен 0, когда информация характеристик динамического диапазона не описана.

Таким образом, когда флаг тонального отображения равен 1, сторона декодирования ссылается на информацию характеристик динамического диапазона, показанную во фрейме на фиг. 14.

Кроме того, информация характеристик динамического диапазона, показанная на фиг. 14, является такой же, как информация характеристик динамического диапазона, описанная выше со ссылкой на фиг. 9, и данное описание не будет вновь повторяться.

Фиг. 15 представляет собой вид, иллюстрирующий пример информации характеристик динамического диапазона. Кроме того, информация характеристик динамического диапазона является информацией, описанной в тональном отображении SEI, динамическом диапазоне SEI яркости или VUI, как описано выше, и в данном примере на фиг. 15, "xxxxx ()" описана в заголовке синтаксиса, чтобы не указать описание позиции.

Эта информация, которая представляет собой диапазон яркости области внимания зрителя и/или положения и смещения области внимания зрителя, добавляется к ниже указанной max_white_level_code_value в информации характеристик динамического диапазона на фиг. 15, отличается от информации характеристик динамического диапазона на фиг. 9.

То есть roi_luminance_range_flag является флагом, который указывает, описывается ли информация, которая представляет диапазон яркости области внимания зрителя и/или позицию и смещение области интереса.

Когда значение roi_luminance_range_flag равно 1, то min_roi_luminance_range, max_roi_luminance_range, roi_region_x, roi_region_y, roi_region_x_offset и roi_region_y_offset указаны в части, заполненной черным.

min_roi_luminance_range указывает на минимальное значение диапазона яркости интересующей области, max_roi_luminance_range указывает на максимальное значение диапазона яркости интересующей области, roi_region_x и roi_region_y указывают на верхний левый угол координаты x и y координаты в интересующей области, соответственно.

roi region x смещение и roi_region_y смещение представляют собой значения смещения от верхнего левого roi region x и roi_region_y. С помощью этого можно указать интересующую область из roi_region_x и roi_region_y.

Как описано выше, диапазон яркости заинтересованной области и (или) позицию и смещение области, представляющей интерес, включены в состав информации характеристик динамического диапазона, таким образом, можно уведомить сторону декодирования, что необходимо привести в соответствие тональное отображение с интересующей областью.

Кроме того, вместо диапазона яркости интересующей области, могут быть добавлены флаг уровня черного, который делает акцент на низком диапазоне яркости, как например, контент фильма, или флаг уровня белого, который делает акцент на высоком диапазоне яркости телевизионного контента.

Значение разрешения, которое может быть использовано в дисплее, имеет низкое значение в прошлом, и, следовательно, создателю контента не нужно использовать уровень белого равный или более 100%, но в настоящее время начинают использоваться дисплеи, которые могут воспроизводить более высокое разрешение.

Таким образом, как описано выше, обеспечивается уровень белого равный или больше чем 100% для воспроизведения видео, которое имеет только 100% белого цвета, и возможность отображения изменяется и для дисплея предоставляется информация, которая преобразует видеоизображение в видеоизображение, соответствующая характеристикам дисплея.

Посредством этого, сторона отображения может с высокой точностью воспроизводить динамический диапазон.

Описание процесса выполнения операции устройства для кодирования

Фиг. 16 является блок-схемой алгоритма для пояснения процесса генерирования, выполняемого устройством 1 для кодирования, показанного на фиг. 3. Кроме того, в примере, показанном на фиг. 16, приведено описание вышеупомянутого примера способа 3 передачи.

На этапе SI на фиг. 16, блок 2 кодирования устройства 1 для кодирования выполняет операцию кодирования изображения, такого как кадр захваченного изображения, поступающего в качестве входного сигнала извне согласно HEVC технологии. Эта операция кодирования будет описана ниже более подробно со ссылкой на фиг. 17 и фиг. 18.

На этапе S2 блок 3 установки устанавливает SPS. На этапе S3, блок 3 установки устанавливает PPS. На этапе S4, блок 3 установки решает, является ли кодируемое целевое изображение HDR (расширенный динамический диапазон) изображением, на основании, например, действия пользователя из блока ввода, который не показан. Кроме того, изображение, которое включает в себя вышеуказанную информацию о характеристиках динамического диапазона, будет упоминаться далее как "HDR изображение".

Когда определено на этапе S4, что кодируемое целевое изображение является HDR изображением, блок 3 установки устанавливает VUI, включающую в себя 1 как флаг HDR изображения, на этапе S5. На этапе S6 блок 3 установки устанавливает SEI как HDR изображение SEI, и процесс переходит на этап S8.

Между тем, флаг HDR изображения является tone_mapping_flag, как описано выше со ссылкой на фиг. 12, или luminance_dynamic_range_flag, как описано выше со ссылкой на фиг. 13. Кроме того, HDR изображение SEI является тональным отображением SEI, описанным выше со ссылкой на фиг. 8, или динамическим диапазоном SEI яркости, как описано выше со ссылкой на фиг. 11.

Между тем, когда определено на этапе S4, что кодируемое целевое изображение не является HDR изображением, блок 3 установки устанавливает VUI, включающий в себя 0 как флаг HDR изображения, на этапе S7. Кроме того, в случае необходимости, блок 3 установки устанавливает SEI в отличие от HDR изображения SEI, и процесс переходит на этап S8.

На этапе S8 блок 3 установки генерирует кодированный поток из набора SPS, PPS, VUI и SEI и кодированные данные, поставленные из блока 2 кодирования. Блок 3 установки поставляет закодированный поток в блок 4 передачи.

На этапе S9 блок 4 передачи передает закодированный поток, поставленный из блока 3 установки, в устройство для декодирования, описанное ниже, и завершает процесс.

Фиг. 17 и фиг. 18 являются блок-схемами алгоритма, поясняющие детали выполнения процесса кодирования на этапе S1, как показано на фиг. 16.

На этапе S11 на фиг. 17 A/D конвертер 11 блока 2 кодирования выполняет A/D преобразование фрейм входного изображения в качестве входного сигнала и выводит и сохраняет изображение в буфере 12 реконфигурации экрана.

На этапе S12 буфер 12 реконфигурации экрана реконфигурирует кадры изображения, хранящиеся в порядке отображения, так что кадры изображения были расположены в порядке кодирования в соответствии с GOP (группа изображений) структурой. Буфер 12 реконфигурации экрана поставляет изображение с реконфигурированными кадрами в арифметическое устройство 13, блок 24 внутрикадрового предсказания и блок 25 предсказания движения/компенсации. Следует отметить, что операции, выполняемые на этапах с S13 по S31, описанные ниже, выполняются в CU (ячейка кодирования) блоках, например.

На этапе S13, блок 24 внутрикадрового предсказания выполняет операцию внутрикадрового предсказания во всех кандидатах режимов внутрикадрового предсказания. Кроме того, блок 24 внутрикадрового предсказания вычисляет значения стоимостной функции всех кандидатов режимов внутрикадрового предсказания на основании изображения, считанного из буфера 12 реконфигурации экрана и предсказанного изображения, генерируемого в результате операции внутрикадрового предсказания. Более того, блок 24 внутрикадрового предсказания затем определяет режим внутреннего предсказания с наименьшим значением стоимостной функции, чтобы быть оптимальным режимом внутреннего предсказания. Блок 24 внутрикадрового предсказания поставляет предсказанное изображение, сгенерированное в оптимальном режиме внутрикадрового предсказания и соответствующим значением стоимостной функции, в блок 26 выбора предсказанного изображения.

Дополнительно, блок 25 предсказания движения/компенсация выполняет операцию предсказания движения/компенсации во всех кандидатах режимов внешнего предсказания. Кроме того, блок 25 предсказания движения/компенсация вычисляет значения стоимостной функции для всех кандидатов режимов внешнего предсказания на основании изображения и предсказанного изображения, поставленного из буфера 12 реконфигурации экрана, и определяет среди режимов предсказания режим с наименьшим значением стоимостной функции, как оптимальный режим предсказания. Более того, блок 25 предсказания движения/компенсации поставляет значение функции стоимости оптимального режима внешнего предсказания и соответствующее предсказанное изображение в блок 26 выбора предсказанного изображения.

На этапе S14 блок 26 выбора предсказанного изображения определяет режим предсказания с наименьшим значением стоимостной функции в оптимальном режиме внутрикадрового предсказания и в оптимальном режиме внешнего предсказания как оптимальный режим предсказания на основании значений стоимостной функции, поступающих из блока 24 внутрикадрового предсказания и блока 25 предсказания движения/компенсации в соответствии с операцией на этапе S13. Кроме того, блок 25 выбора предсказанного изображения затем поставляет предсказанного изображения в оптимальном режиме предсказания на арифметическое устройство 13 и блок 20 сложения.

На этапе S15 блок 26 выбора предсказанного изображения определяет, является ли оптимальный режим предсказания оптимальным режимом внешнего предсказания. Когда определено на этапе S15, что оптимальный режим предсказания является оптимальным режимом внешнего предсказания, то блок 26 выбора предсказанного изображения уведомляет блок 25 предсказания движения/компенсации о выборе предсказанного изображения, генерируемого в оптимальном режиме внешнего предсказания.

Дополнительно, на этапе S16 блок 25 предсказания движения/компенсации поставляет информацию режима внешнего предсказания о соответствующем векторе движения и информацию для указания опорного изображения в блок 16 кодирования без потерь. Кроме того, операция затем переходит на этап S18.

Между тем, когда определено на этапе S15, что оптимальный режим предсказания не является оптимальным режимом внешнего предсказания, то есть когда оптимальный режим предсказания является оптимальным режимом внутрикадрового предсказания, блок 26 выбора предсказанного изображения уведомляет блок 24 внутрикадрового предсказания о выборе предсказанного изображения, сгенерированного в оптимальном режиме внутрикадрового предсказания.

Дополнительно, на этапе S17 блок 24 внутрикадрового предсказания предоставляет информацию о режиме внутрикадрового предсказания в блок 16 кодирования без потерь. Кроме того, операция затем переходит на этап S18.

На этапе S18 арифметическое устройство 13 исполняет операцию кодирования вычитанием предсказанного изображения, поставленное из блока 26 выбора предсказанного изображения, из изображения, поставленное из буфера 12 реконфигурации экрана. Арифметическое устройство 13 вырабатывает результирующее изображение, как информацию остаточной ошибки в блок 14 ортогонального преобразования.

На этапе S19 блок 14 ортогонального преобразования выполняет ортогональное преобразование информации остаточной ошибки, поставленной из арифметического устройства 13, и подает результирующий коэффициент в блок 15 квантования.

На этапе S20 блок 15 квантования квантует коэффициент, поставленный из блока 14 ортогонального преобразования. Квантованный коэффициент вводится в блок 16 кодирования без потерь и блок 18 обратного квантования.

На этапе S21 блок 18 обратного квантования подвергает обратному квантованию квантованный коэффициент, поставленный из блока 15 квантования.

На этапе S22 блок 19 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента, поставленного из блока 18 обратного квантования, и подает результирующую информацию остаточной ошибки в блок 20 сложения.

На этапе S23 блок 20 сложения добавляет информацию остаточной ошибки, поставленную из блока 19 обратного ортогонального преобразования, к предсказанному изображению, поставленному из блока 26 выбора предсказанного изображения, и получает локально декодированное изображение. Блок 20 сложения поставляет результирующее изображение в фильтр 21 устранения блочности и память 22 кадров.

На этапе S24 фильтр 21 устранения блочности выполняет операцию фильтрации устранения блочности локально декодированного изображения, поставленного из блока 20 сложения. Фильтр 21 устранения блочности поставляет результирующее изображение в адаптивный фильтр 41 смещения.

На этапе S25 адаптивный фильтр 41 смещения выполняет операцию адаптивной фильтрации смещения на изображении, поставленного из фильтра 21 устранения блочности, на LCU. Адаптивный фильтр 41 смещения поставляет результирующее изображение в адаптивный контурный фильтр 42. Кроме того, адаптивный фильтр 41 смещения поставляет на LCU в блок 16 кодирования без потерь флаг хранения, индекс или значение смещения и тип информации.

На этапе S26 адаптивный контурный фильтр 42 выполняет адаптивную операцию фильтрации посредством контурного фильтра на изображении, подаваемого из адаптивного фильтра 41 смещения на LCU. Адаптивный контурный фильтр 42 поставляет результирующее изображение в память 22 кадров. Кроме того, адаптивный контурный фильтр 42 поставляет коэффициент фильтра, используемый в адаптивной операции фильтрации контурным фильтром, в блок 16 кодирования без потерь.

На этапе S27 память 22 кадров сохраняет изображения до и после фильтрации. Более конкретно, память 22 кадров хранит изображения, поставленные из блока 20 сложения, и изображения, поставленные из адаптивного контурного фильтра 42. Изображения, сохраненные в памяти 22 кадров, затем выводится в качестве опорного изображения в блок 24 внутрикадрового предсказания или блок 25 предсказания движения/компенсации через переключатель 23.

На этапе S28 блок 16 для кодирования без потерь выполняет кодирование без потерь информации режима внутрикадрового предсказания или информации режима внешнего предсказания, вектора движения, информации для указания опорного изображения, информации фильтра смещения и коэффициента фильтра как информации кодирования.

На этапе S29 блок 16 кодирования без потерь выполняет кодирование без потерь квантованного коэффициента, поставленного из блока 16 квантования. Кроме того, блок 16 кодирования без потерь генерирует закодированные данные из информации кодирования, которая подвергаются кодированию без потерь, и коэффициент, который подвергается кодированию без потерь на этапе S28.

На этапе S30 блок 16 кодирования без потерь поставляет и сохраняет закодированные данные в буфере 17 накопления.

На этапе S31 буфер 17 накопления выводит сохраненные кодированные данные в блок 3 установки, как показано на фиг. 3. Кроме того, операция возвращается на этап S1 на фиг. 16 и затем переходит к этапу S2.

Кроме того, хотя операция внутрикадрового предсказания и операция предсказания движения/компенсации выполняются в любое время в операции кодирования на фиг. 17 и фиг. 18, для простоты описания только одна из операции внутрикадрового предсказания и операции предсказания движения/компенсации фактически выполняется в зависимости от, например, типа изображения.

Как описано выше, устройство 1 для кодирования устанавливает HDR изображение SEI (тональное отображение SEI или динамический диапазон SEI яркости) и флаг HDR изображения (tone_mapping_flag или luminance_dynamic_range_flag) и передает HDR изображение вместе с кодированными данными.

Следовательно, устройство для декодирования, которое декодирует и отображает кодированный поток HDR изображения, может надежно воспроизводить и отображать динамический диапазон HDR изображения, предпочтительно с использованием HDR изображения SEI, когда флаг изображения HDR равен 1. Следовательно, когда декодирование и отображение кодированного потока HDR изображения, устройство 1 для кодирования может генерировать закодированный поток HDR изображения, так что динамический диапазон HDR изображения может надежно воспроизводится и отображается.

Пример структуры первого варианта осуществления устройства для декодирования Фиг. 19 показывает блок-схему, иллюстрирующую пример структуры первого варианта устройства для декодирования в качестве устройства обработки изображения, к которому применяется настоящая технология, и которое декодирует кодированный поток, передаваемый из устройства 1 для кодирования, показанное на фиг. 3.

Устройство 50 для декодирования, показанное на фиг. 19, имеет блок 51 приема, блок 52 демультиплексирования, блок 53 декодирования, блок 54 корректировки изображения, блок 55 управления дисплеем и блок 56 отображения.

Блок 51 приема устройства 50 для декодирования принимает кодированный поток, передаваемый из устройства 1 кодирования на фиг. 3, и поставляет закодированный поток в блок 52 демультиплексирования. Блок 52 демультиплексирования демультиплексирует, например, SPS, PPS, VUI, SEI и кодированные данные из кодированного потока, поставленного из блока 51 приема. Блок 52 демультиплексирования поставляет кодированные данные в блок 53 декодирования. Дополнительно, блок 52 демультиплексирования поставляет SPS, PPS, VUI и SEI, тоже в блок 53 декодирования и блок 54 корректировки изображения, если это необходимо.

Блок 53 декодирования относится, например, к SPS, PPS, VUI и SEI, поставляемые из блока 52 демультиплексирования, если это необходимо, и декодирует кодированные данные, поставленные из блока 52 демультиплексирования в соответствии с HEVC технологией. Блок 53 декодирования поставляет изображение, такое как HDR изображение, полученное в результате декодирования, в блок 54 корректировки изображения в качестве выходного сигнала.

Блок 54 корректировки изображения корректирует динамический диапазон HDR изображения, поставленного как выходной сигнал из блока 53 декодирования, на основании, например, SPS, PPS, VUI и SEI, поставленные из блока 52 демультиплексирования, если это необходимо. Например, блок 54 корректировки изображения корректирует динамический диапазон изображения в соответствии с динамическим диапазоном дисплея. Дополнительно, блок 54 корректировки изображения поставляет HDR изображение в качестве выходного сигнала в блок 55 управления дисплеем.

Блок 55 управления дисплеем генерирует отображаемое изображение, основанное на HDR изображении, поставленное из блока 54 корректировки изображения (способ отображения обеспечивает уведомление из блока 56 отображения в случае необходимости). Блок 55 управления дисплеем отображает сгенерированное отображаемое изображение путем поставки отображаемого изображения в блок 56 отображения.

Блок 56 отображения отображает изображение на дисплее, поставленное из блока 55 управления дисплеем. Кроме того, блок 56 отображения уведомляет о способе установки отображения заранее и определенный пользователем, в блок 55 управления дисплеем.

Пример структуры блока декодирования

Фиг. 20 показывает блок-схему, иллюстрирующую пример структуры блока 53 декодирования на фиг. 19.

Блок 53 декодирования на фиг. 20 включает в себя буфер 101 накопления, блок 102 декодирования без потерь, блок 103 обратного квантования, блок 104 обратного ортогонального преобразования, блок 105 сложения, фильтр 106 устранения блочности, буфер 107 реконфигурации экрана, D/A конвертер 108, память 109 кадров, переключатель 110, блок 111 внутрикадрового предсказания, блок 112 компенсация движения и переключатель 113.

Дополнительно, обеспечиваются между фильтром 106 устранения блочности, буфером 107 реконфигурации экрана и памяти 109 кадров адаптивный фильтр 141 смещения и адаптивный контурный фильтр 142.

Буфер 101 накопления блока 53 декодирования принимает и запоминает закодированные данные из блока 52 демультиплексирования на фиг. 19. Буфер 101 накопления поставляет сохраненные кодированные данные в блок 102 декодирования без потерь.

Блок 102 декодирования без потерь получает квантованный коэффициент и кодированную информацию посредством выполнения декодирования без потерь, например, декодированием переменной длины или арифметическим декодированием кодированных данных из буфера 101 накопления. Блок 102 декодирования без потерь поставляет квантованный коэффициент в блок 103 обратного квантования. Кроме того, блок 102 декодирование без потерь поставляет информацию режима внутрикадрового предсказания в качестве информации кодирования в блок 111 внутрикадрового предсказания, и поставляет вектор движения, информацию для указания опорного изображения и информацию режима внешнего предсказания в блок 112 компенсации движения. Более того, блок 102 декодирования без потерь поставляет информацию режима внутрикадрового предсказания или информацию режима внешнего предсказания в качестве информации кодирования в переключатель 113.

Блок 102 декодирования без потерь поставляет информацию фильтра смещения как информацию кодирования в адаптивный фильтр 141 фильтрации и поставляет коэффициент фильтра в адаптивный контурный фильтр 142.

Блок 103 обратного квантования, блок 104 обратного ортогонального преобразования, блок 105 сложения, фильтр 106 устранения блочности, память 109 кадров, переключатель 110, блок 111 внутрикадрового предсказания и блок 112 компенсации движения выполняют те же операции, что и блок 18 обратного квантования, блок 19 обратного ортогонального преобразования, блок 20 сложения, фильтр 21 устранения блочности, память 22 кадров, переключатель 23, блок 24 внутрикадрового предсказания и блок 25 предсказания/компенсации движения на фиг. 4, с тем, чтобы декодировать изображения.

В частности, блок 103 обратного квантования подвергает обратному квантованию квантованный коэффициент, поставленный из блока 102 декодирования без потерь, и поставляет результирующий коэффициент в блок 104 обратного ортогонального преобразования.

Блок 104 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента из блока 103 обратного квантования и поставляет результирующую информацию остаточной ошибки в блок 105 сложения.

Блок 105 сложения добавляет информацию остаточной ошибки, как целевое изображение декодирования, поставленное из блока 104 обратного ортогонального преобразования, к предсказанному изображению, поставленному из переключателя 113, для декодирования. Блок 105 сложения поставляет изображение, полученное в результате декодирования, в фильтр 106 устранения блочности, и также поставляет изображение в память 109 кадров. Кроме того, там, где нет никаких предсказанных изображений, поступающие с переключателя 113, блок 105 сложения поставляет изображение, которое представляет собой информацию остаточной ошибки, поставленную из блока 104 обратного ортогонального преобразования в качестве изображения, полученного в результате декодирования, в фильтр 106 устранения блочности, и также поставляет и сохраняет изображение в памяти 109 кадров.

Фильтр 106 устранения блочности осуществляет фильтрацию изображения, поставленного из блока 105 сложения, для удаления артефактов блочности. Фильтр 106 устранения блочности поставляет результирующее изображение в адаптивный фильтр 141 смещения.

Адаптивный фильтр 141 смещения имеет буфер, который последовательно сохраняет значения смещений, поставленные из блока 102 декодирования без потерь. Кроме того, адаптивный фильтр 141 смещения выполняет на одном LCU операцию адаптивного смещения изображения посредством адаптивного фильтра 106 устранения блочности на основании информации фильтра смещения, поставленной из блока 102 декодирования без потерь.

Более конкретно, если флаг хранения, включенный в состав информации фильтра смещения, равен 0, адаптивный фильтр 141 смещения выполняет операцию адаптивной фильтрации смещения типа, указанного с помощью информации типа изображения, подвергнутого операции фильтрации устранения блочности в LCU блоках с помощью фильтрации смещения, включенной в состав информации фильтра смещения.

В то же время, если флаг хранения равен 1, включенный в информацию фильтра смещения, адаптивный фильтр 141 смещения считывает из изображения, подвергнутого операции фильтрации устранения блочности в LCU блоках смещения, сохраненную на позиции, указанной индексом, включенный в состав этой информации фильтра смещения. Кроме того, адаптивный фильтр 141 смещения выполняет операцию адаптивной фильтрации смещения, которая указана типом информацией с использованием считыванием величины смещения. Адаптивный фильтр 141 смещения поставляет изображение, которое подвергается операции адаптивной фильтрации смещения, в адаптивный контурный фильтр 142.

Адаптивный контурный фильтр 142 выполняет операцию адаптивной фильтрации изображения посредством контурного фильтра, поставленного из адаптивного фильтра 141 смещения на LCU с использованием коэффициента фильтра, поставленный из блока 102 декодирования без потерь. Адаптивный контурный фильтр 142 поставляет результирующее изображение в память 109 кадров и буфер 107 реконфигурации экрана.

Изображение, хранящееся в памяти 109 кадров, считывается в качестве опорного изображения через переключатель 110 и поставляется в блок 112 компенсации движения или блок 111 внутрикадрового предсказания.

Буфер 107 реконфигурации экрана сохраняет изображение, поставленное из фильтра 106 удаления блочности, в кадре. Буфер 107 реконфигурации экрана переставляет кадры сохраняемого изображения в оригинальном порядке отображения вместо порядка кодирования и поставляет реконфигурированное изображение в D/A конвертер 108.

D/A конвертер 108 выполняет D/A преобразование кадра изображения, поставленного из буфера 107 реконфигурации экрана, и выводит изображение в качестве выходного сигнала в блок 54 корректировки изображения, как показано на фиг. 19.

Блок 111 внутрикадрового предсказания выполняет в ячейке и блоках среза операцию внутрикадрового предсказания в режиме внутрикадрового предсказания, указанного информацией о режиме внутрикадрового предсказания, поставленной из блока 102 декодирования без потерь с использованием опорного изображения, которое считывается из памяти 109 кадров, через переключатель 110 и не фильтруется с помощью фильтра 106 устранения блочности. Блок 111 внутрикадрового предсказания поставляет результирующее предсказанное изображение в переключатель 113.

Блок 112 компенсации движения считывает опорное изображение, которое фильтруется с помощью фильтра 106 устранения блочности, из памяти 109 кадров через переключатель 110 в ячейке и блоках среза на основании информации для определения опорного изображения, поставленного из блока 102 декодирования без потерь. Блок 112 компенсации движения выполняет операцию компенсации движения в оптимальном режиме предсказания, указанного информацией режима межкадрового предсказания с использованием вектора движения и опорного изображения. Блок 112 компенсации движения поставляет результирующее предсказанное изображение в переключатель 113.

Когда информация режима внутрикадрового предсказания подается из блока 102 декодирования без потерь, переключатель 113 поставляет предсказанное изображение, поставленное из блока 111 внутрикадрового предсказания в блок 105 сложения. Между тем, если информация режима внешнего предсказания поставляется из блока 102 декодирования без потерь, переключатель 113 поставляет предсказанное изображение, поставляемое из блока 112 компенсации движения, в блоке 105 сложения.

Описание процесса функционирования устройства для декодирования

Фиг. 21 является блок-схемой алгоритма для пояснения процесса отображения устройства 50 для декодирования, показанного на фиг. 19.

На этапе S50 на фиг. 21 блок 51 приема устройства 50 для декодирования принимает кодированный поток, передаваемый из устройства 1 для кодирования, показанного на фиг. 3, и поставляет кодированный поток в блок 52 демультиплексирования.

На этапе S51 блок 52 демультиплексирования демультиплексирует, например, SPS, PPS, VUI, SEI и кодированные данные кодированного потока, поставленные из блока 51 приема. Блок 52 демультиплексирования поставляет кодированные данные в блок 53 декодирования. Кроме того, блок 52 демультиплексирования поставляет SPS, PPS, VUI и SEI также в блок 53 декодирования и блок 54 корректировки изображения, если это необходимо.

На этапе S52 блок 53 декодирования выполняет операцию декодирования, например, ссылаясь на SPS, PPS, VUI и SEI, поставленные из блока 52 демультиплексирования, если это необходимо, и декодирует кодированные данные, поставленные из блока 52 демультиплексирования, в соответствии с HEVC технологией. Эта операция декодирования будет подробно описана ниже со ссылкой на фиг. 22.

На этапе S53 блок 54 корректировки изображения определяет, флаг HDR изображения, включенный в состав VUI, поставленный из блока 52 демультиплексирования, равен 1. Как описано выше со ссылкой на фиг. 16, флаг HDR изображения является tone_mapping_flag, как показано на фиг. 12, или luminance_dynamic_range_flag, как показано на фиг. 13. Когда флаг HDR изображения определяется как равный 1 на этапе S53, то блок 54 корректировки изображения определяет, что выходной сигнал, подаваемый из блока 53 декодирования, является HDR изображением.

Дополнительно, на этапе S54 блок 54 корректировки изображения получает информацию характеристик динамического диапазона, включенную в состав HDR изображения SEI, поставленную из блока 52 демультиплексирования. Более конкретно, как описано выше со ссылкой на фиг. 16, информация характеристик динамического диапазона получают из тонального отображения SEI, показанного на фиг. 8, или из динамического диапазона яркости SEI, как показано на фиг. 11.

На этапе S55 блок 54 корректировки изображения корректирует динамический диапазон изображения на дисплее динамического диапазона на основании информации характеристик динамического диапазона, полученной на этапе S54. Операция по корректировке этого динамического диапазона включает в себя, например, операцию тонального отображения. Блок 54 корректировки изображения поставляет откорректированное изображение в блок 55 управления дисплеем.

Кроме того, хотя примерно существуют два способа корректировки изображений на этапе S55, обе операции являются операциями корректировки изображения для выполнения способа.

В соответствии с первым способом, когда поступает изображение высокого динамического диапазона, чем возможности способа, то выполняется операция уменьшения динамического диапазона изображения в соответствии с возможностями способа.

В соответствии со вторым способом, когда поступает изображение низкого динамического диапазона по сравнению с возможностями способа, то выполняется операция увеличения динамического диапазона изображения в соответствии с возможностями способа.

Между тем, когда определено на этапе S53, что флаг HDR изображения не равен единице, то этапы S54 и S55 пропускаются и операция переходит на этап S56. То есть в этом случае блок 54 корректировки изображения поставляет изображение из блока 53 декодирования, как в блок 55 управления дисплеем.

На этапе S56 блок 55 управления дисплеем генерирует отображаемое изображение, основанное на HDR изображении, поставленное из блока 54 корректировки изображения и поставляет сгенерированное отображаемое изображение в блок 56 отображения для отображения изображения на блоке 56 отображения, и процесс заканчивается.

Фиг. 22 является блок-схемой алгоритма для подробного пояснения операции декодирования на этапе S 52, показанной на фиг. 21.

На этапе S111, как показано на фиг. 22, буфер 101 накопления блока 53 декодирования принимает и запоминает кадры закодированных данных из блока 52 демультиплексирования, показанного на фиг. 19. Буфер 101 накопления поставляет сохраненные кодированные данные в блок 102 декодирования без потерь. Следует отметить, что операции, выполняемые на этапах с S112 по S124, описанные ниже, выполняются в CU блоках, например.

На этапе S112, блок 102 декодирования без потерь получает квантованный коэффициент и кодированную информацию посредством выполнения декодирования без потерь кодированных данных из буфера 101 накопления. Блок 102 декодирования без потерь поставляет квантованный коэффициент в блок 103 обратного квантования. Кроме того, блок 102 декодирования без потерь поставляет информацию режима внутрикадрового предсказания как информацию кодирования в блок 111 внутрикадрового предсказания и поставляет вектор движения, информацию режима внешнего предсказания и информацию для определения опорного изображения в блок 112 компенсации движения 112. Более того, блок 102 декодирования без потерь поставляет информацию режима внутрикадрового предсказания или информацию режима внешнего предсказания в качестве информации кодирования в коммутатор 113.

Более того, блок 102 декодирования без потерь поставляет информацию фильтра смещения в качестве информации кодирования в адаптивный фильтр 141 смещения и поставляет коэффициент фильтра в адаптивный контурный фильтр 142.

На этапе S113 блок 103 обратного квантования подвергает обратному квантованию квантованный коэффициент из блока 102 декодирования без потерь и поставляет результирующий коэффициент в блок 104 обратного ортогонального преобразования.

На этапе S114 блок 112 компенсации движения определяет, поставлена ли или нет информация режима внешнего предсказания из блока 102 декодирования без потерь. Когда определено на этапе S114, что информация режима внешнего предсказания подается, то операция переходит на этап S115.

На этапе S115 блок 112 компенсации движения считывает опорное изображение отфильтрованное фильтром 106 устранения блочности и выполняет операцию компенсации движения на основании вектора движения, информации о режиме межкадрового предсказания и информации для определения опорного изображения, поставленную из блока 102 декодирования без потерь. Блок 112 компенсации движения поставляет результирующее предсказанное изображение в блок 105 сложения через переключатель 113, и процесс переходит на этап S117.

Между тем, когда определено на этапе S114, что режим внешнего предсказания не обеспечивается, то есть когда поставляется информация режима внутрикадрового предсказания в блок 111 внутрикадрового предсказания, то операция переходит на этап S116.

На этапе S116 блок 111 внутрикадрового предсказания выполняет операцию внутрикадрового предсказания в режиме внутрикадрового предсказания, указанную информацией режима внутрикадрового предсказания, используя опорное изображение, которое считывается из памяти 109 кадров, через переключатель 110 и не фильтруется с помощью фильтра 106 устранения блочности. Блок 111 внутрикадрового предсказания поставляет предсказанное изображение, сгенерированное в результате выполнения операции внутрикадрового предсказания, в блок 105 сложения через переключатель 113, и процесс переходит на этап S117.

На этапе S117 блок 104 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициента из блока 103 обратного квантования и поставляет результирующую остаточную информацию об ошибке в блок 105 сложения.

На этапе S118 блока 105 сложения добавляет информацию остаточной ошибки, поставленную из блока 104 обратного ортогонального преобразования, к предсказанному изображению, поставленному из переключателя 113. Блок 105 сложения поставляет результирующее изображение в фильтр 106 устранения блочности и также поставляет изображение в память 109 кадров.

На этапе S119 фильтр 106 устранения блочности осуществляет фильтрацию изображения, поставленного из блока 105 сложения для удаления артефактов блочности. Фильтр 106 устранения блочности поставляет результирующее изображение в адаптивный фильтр 141 смещения.

На этапе S120 адаптивный фильтр 141 смещения выполняет на LCU операцию адаптивной фильтрации смещения изображения, подвергнутого фильтрации устранения блочности, выполненную фильтром 106 устранения блочности, на основании информации фильтра смещения, поставленного из блока 102 декодирования без потерь. Адаптивный фильтр 141 смещения поставляет изображение, подвергнутое адаптивной фильтрации смещения, в адаптивный контурный фильтр.

На этапе S121 адаптивный контурный фильтр 142 выполняет операцию адаптивной фильтрации посредством контурного фильтра изображения, поставленного из адаптивного фильтра 141 смещения на LCU с использованием коэффициента фильтра, поставленного из блока 102 декодирования без потерь. Адаптивный контурный фильтр 142 поставляет результирующее изображение в память 109 кадров и буфер 107 реконфигурации экрана.

На этапе S122 память 109 кадров хранит изображение, которое еще не отфильтровано и поставлено из блока 105 сложения, и отфильтрованное изображение, поставленное из фильтра 106 устранения блочности. Изображение, хранящееся в памяти 109 кадров, поставляется как опорное изображение, в блок 112 компенсации движения или блок 111 внутрикадрового предсказания через переключатель 110.

На этапе S123 буфер 107 реконфигурации экрана хранит изображение, поставленное из фильтра 106 устранения блочности, в кадре, реконфигурирует кадры, сохраненного изображения в оригинальном порядке отображения, вместо порядка кодирования, и поставляет реконфигурированное изображение в D/A преобразователь 108.

На этапе S124 D/A преобразователь 108 выполняет D/A преобразование кадров изображения, поставленного из буфера 107 реконфигурации экрана, и выводит изображение в качестве выходного сигнала в блок 54 корректировки изображения, показанного на фиг. 19. Дополнительно, процесс возвращается на этап S52, как показано на фиг. 21, и затем переходит к этапу S53.

Как описано выше, устройство 50 для декодирования может декодировать кодированные данные и генерировать изображение, и надежно воспроизводить и отображать динамический диапазон изображения HDR, предпочтительно с использованием HDR изображения SEI, когда флаг изображения HDR равен 1.

Кроме того, флаг изображения HDR может быть включен в состав другого NAL блока, такого как SPS вместо VUI.

Хотя HEVC технология, в основном, используются для кодирования, как описано выше, эта технология является способом отображения изображений и не ограничивается способом кодирования. Следовательно, этот способ не ограничивается HEVC технологией, и может использовать другие способы кодирования/декодирования. Например, описанная ниже AVC технология также применяется к устройству, которое выполняет операцию кодирования/декодирования.

Второй вариант осуществления

Пример структуры второго варианта осуществления устройства для кодирования Фиг. 23 показывает блок-схему, иллюстрирующую примерную структуру в соответствии со вторым вариантом осуществления устройства для кодирования в качестве устройства обработки изображения, к которому применяется настоящая технология.

В структуре, показанной на фиг. 23, те же компоненты, которые показаны на фиг. 3, обозначены теми же ссылочными позициями, как на фиг. 3. Объяснения, которые уже были сделаны, повторяться не будут.

Структура устройства 201 для кодирования, показанная на фиг. 23, отличается от структуры, показанной на фиг. 3, тем, что блок 211 кодирования используется вместо блока 2 кодирования. Структура устройства 201 для кодирования является общей для структуры, показанной на фиг. 3, которая включает в себя блок 3 установки и блок 4 передачи.

Блок 211 кодирования устройства 201 для кодирования принимает в качестве входного сигнала входные данные изображения, такого как кадры захваченного изображения. Блок 211 кодирования кодирует входной сигнал в соответствии с AVC технологией и поставляет результирующие кодированные данные в блок 3 установки.

Блок 3 установки устанавливает информацию характеристик динамического диапазона изображения в формате, в соответствии со стандартом AVC. Блок 3 установки генерирует кодированный поток из информации набора характеристик и кодированные данные, поставленные из блока 211 кодирования. Блок 3 установки поставляет кодированный поток в блок 4 передачи.

То есть устройство 201 для кодирования отличается от устройства 1 для кодирования, показанное на фиг. 3, выполнением операции кодирования в соответствии с AVC технологией.

Пример структуры блока кодирования

Фиг. 24 показывает блок-схему, иллюстрирующую пример структуры блока 211 кодирования, показанного на фиг. 23.

В структуре, показанной на фиг. 24, те же компоненты, показанные на фиг. 4, обозначены теми же ссылочными позициями, как на фиг. 4. Объяснения, которые уже были сделаны, повторяться не будут.

Блок 211 кодирования, показанный на фиг. 24, включает в себя A/D преобразователь 11, буфер 12 реконфигурации экрана, арифметическое устройство 13, блок 14 ортогонального преобразования, блок 15 квантования, блок 16 кодирования без потерь, буфер 17 накопления, блок 18 обратного квантования, блок 19 обратного ортогонального преобразования, блок 20 сложения, фильтр 21 устранения блочности, память 22 кадров, переключатель 23, блок 24 внутрикадрового предсказания, блок 25 предсказания/компенсации движения, блок 26 выбора предсказанного изображения и блок 27 управления скоростью.

То есть структура блока 211 кодирования, показанная на фиг. 24, отличается от структуры, показанной на фиг. 4, только отсутствием адаптивного фильтра 41 смещения и адаптивного контурного фильтра 42 и кодирование выполняется блоком 16 кодирования без потерь 16 в соответствии с AVC технологией вместо HEVC технологии. Таким образом, блок 211 кодирования выполняет операцию кодирования в блоках вместо CU блоках.

Целевые изображения, кодированные блоком 16 кодирования без потерь, в основном являются такими же, что и блоком 16 кодирования без потерь, показанного на фиг. 4, за исключением параметров адаптивного фильтра смещения и адаптивного контурного фильтра. То есть аналогично блоку 16 кодирования без потерь, показанного на фиг. 4, блок 16 кодирования без потерь получает информацию режима внутрикадрового предсказания из блока 24 внутрикадрового предсказания. Кроме того, блок 16 кодирования без потерь получает информацию режима внешнего предсказания вектора движения и информацию для определения опорного изображения из блока 25 предсказания/компенсации движения.

Как и в блоке 16 кодирования без потерь на фиг. 4, блок 16 кодирования без потерь выполняет процесс кодирования без потерь, такой как кодирование с переменной длиной (CAVLC (контекстно-зависимое адаптивное кодирование с переменной длинной кодового слова), например) или арифметическое кодирование (САВАС (контекстно-зависимое адаптивное бинарное арифметическое кодирование), например) квантованного коэффициента, поставляемого из блока 15 квантования.

Дополнительно, аналогично блоку 16 кодирования без потерь на фиг. 4, блок 16 кодирования без потерь выполняет процесс кодирования без потерь информации режима внутрикадрового предсказания или информации режима внешнего предсказания, вектора движения, информации для указания опорного изображения, информации фильтра смещения и коэффициента фильтра в качестве информации кодирования, относящейся к кодированию. Блок 16 кодирования без потерь поставляет и сохраняет информацию кодирования и коэффициент, полученный посредством кодирования без потерь, как кодированные данные, в буфер 17 накопления. Кроме того, информация кодирования после кодирования без потерь может быть информацией заголовка коэффициента, полученного посредством кодирования без потерь.

Фильтр 21 устранения блочности выполняет фильтрацию локально декодированного изображения, поставленного из блока 20 сложения, для удаления артефактов блочности. Фильтр 21 устранения блочности поставляет и сохраняет результирующее изображение в памяти 22 кадров.

Изображение, сохраненное в памяти 22 кадров, затем выводится в качестве опорного изображения в блок 24 внутрикадрового предсказания или блок 25 предсказания/компенсации движения через переключатель 23.

Этот способ также применим к устройству 201 для кодирования на основании этой AVC технологии.

Пример структуры второго варианта осуществления устройства для декодирования

Фиг. 25 показывает блок-схему, иллюстрирующую примерную структуру второго варианта осуществления устройства для декодирования в качестве устройства обработки изображения, в котором применяется данный способ, и декодирует кодированный поток, передаваемый из устройства 201 для кодирования, показанного на фиг. 23.

В структуре, показанной на фиг. 25, те же компоненты, как и на фиг. 19, обозначены теми же ссылочными позициями, как и на фиг. 19. Объяснения, которые уже были сделаны, повторяться не будут.

Структура устройства 251 для декодирования, показанная на фиг. 25, отличается от структуры, показанной на фиг. 19, тем, что вместо блока 53 декодирования применяется блок 261 декодирования. Структура устройства 251 для декодирования является общей для структуры, показанной на фиг. 19, которая включает в себя блок 51 приема, блок 52 демультиплексирования, блок 54 корректировки изображения, блок 55 управления дисплеем и блок 56 отображения.

Блок 51 приема принимает закодированный поток, передаваемый от устройства 201 для кодирования на фиг. 23 и закодирован в соответствии с AVC технологией, и поставляет закодированный поток в блок 52 демультиплексирования. Блок 52 демультиплексирования демультиплексирует, например, информацию характеристик динамического диапазона, установленную в соответствии со стандартом AVC, и кодированные данные кодированного потока, поставленного из блока 51 приема. Блок 52 демультиплексирования поставляет кодированные данные в блок 261 декодирования. Дополнительно, блок 52 демультиплексирования поставляет информацию характеристик динамического диапазона также в блок 261 декодирования и блок 54 корректировки изображения, если необходимо.

Блок 261 декодирования обрабатывает, например, SPS, PPS, VUI и SEI, поставленный из блока 52 демультиплексирования, если это необходимо, и декодирует кодированные данные, поставленные из блока 52 демультиплексирования в соответствии с AVC технологией. Блок 261 декодирования поставляет изображение, такое как HDR изображение, полученное в результате декодирования, в блок 54 корректировки изображения в качестве выходного сигнала.

Блок 54 корректировки изображения корректирует динамический диапазон HDR изображения, поставленного в качестве выходного сигнала из блока 261 декодирования, на основании информации характеристик динамического диапазона, поставляемой из блока 52 демультиплексирования, если это необходимо. Дополнительно, блока 54 корректировки изображения поставляет HDR изображение в качестве выходного сигнала в блок 55 управления дисплеем.

То есть устройство 251 для декодирования отличается от устройства 50 для декодирования на фиг. 19 только выполнением операции декодирования в соответствии с AVC технологией.

Пример структуры блока декодирования

Фиг. 26 показывает блок-схему, иллюстрирующую примерную структуру блока 261 декодирования, показанного на фиг. 25.

Компоненты, показанные на фиг. 26, являются теми же компонентами, как на фиг. 20, и обозначены теми же ссылочными позициями как на фиг. 20. Объяснения, которые уже были сделаны, повторяться не будут.

Блок 261 декодирования, показанный на фиг. 26, включает в себя буфер 101 накопления, блок 102 декодирования без потерь, блок 103 обратного квантования, блок 104 обратного ортогонального преобразования, блок 105 сложения, фильтр 106 устранения блочности, буфер 107 реконфигурации экрана, D/A преобразователь 108, память 109 кадров, переключатель 110, блок 111 внутрикадрового предсказания, блок 112 компенсация движения и переключатель 113.

Структура блока 261 декодирования на фиг. 26 отличается от структуры, показанной на фиг. 20 только тем, что адаптивный фильтр 141 смещения и адаптивный контурный фильтр 142 не используются и выполняется процесс декодирования в блоке 102 декодирования без потерь в соответствии с AVC технологией вместо HEVC технологии. Таким образом, блок 261 декодирования выполняет операцию декодирования в блоках вместо CU блоках.

Целевая операция декодирования блока 102 декодирования без потерь в основном та же, что и блока 102 декодирования без потерь на фиг. 20, за исключением параметров адаптивного фильтра смещения и адаптивного контурного фильтра. То есть аналогично блоку 102 декодирования без потерь, показанному на фиг. 20, блок 102 декодирования без потерь получает квантованный коэффициент и кодированную информацию посредством выполнения процесса декодирования без потерь, такого как процесс декодирования с переменной длинной кодового слова или процесса арифметического декодирования кодированных данных, из буфера 101 накопления. Блок 102 декодирование без потерь поставляет квантованный коэффициент в блок 103 обратного квантования.

Дополнительно, аналогично блоку 102 декодирования без потерь блок 102, показанного на фиг. 20, блок 102 декодирования без потерь поставляет информацию режима внутрикадрового предсказания в качестве информации кодирования, в блок 111 внутрикадрового предсказания и поставляет вектор движения, информацию для указания опорного изображения и информацию режима внешнего предсказания в блок 112 компенсации движения. Более того, блок 102 декодирования без потерь поставляет информацию режима внутрикадрового предсказания или информацию режима внешнего предсказания в качестве информации кодирования в переключатель 113.

Фильтр 106 устранения блочности осуществляет фильтрацию изображения, поставленного из блока 105 сложения для удаления артефактов блочности. Фильтр 106 устранения блочности поставляет результирующее изображение в память 109 кадров и буфер 107 реконфигурации экрана.

Этот способ также применим к устройству 251 для декодирования на основании AVC технологии.

Кроме того, настоящее изобретение может быть применено к устройствам для кодирования изображения и устройствам для декодирования изображения, которые используются, когда информация изображения (битовые потоки) сжимается с помощью ортогональных преобразований, таких как дискретное косинусное преобразование и компенсация движения, как, например, HEVC технология, принятого по сетевой среде, такой как спутниковое вещание, кабельное телевидение, интернет или портативный телефон. Кроме того, настоящее изобретения также применяется к устройствам для кодирования изображения и устройствам для декодирования изображения, которые используют носитель данных, такой как оптический или магнитный диск или флэш-память.

Третий вариант осуществления

Приложение кодирования многоракурсного изображения/декодирования многоракурсного изображения

Вышеописанная последовательность выполнения операций применима к кодированию многоракурсного изображения/декодирования многоракурсного изображения. Фиг. 27 представляет собой вид, иллюстрирующий пример технологии кодирования многоракурсного изображения.

Как показано на фиг. 27, многоракурсное изображение включает в себя изображения множества ракурсов, и изображение одного заданного ракурса среди множества ракурсов, обозначается как изображение основного ракурса. Каждый ракурс изображения, отличный от изображения основного ракурса используется как изображение дополнительного ракурса.

При кодировании многоракурсного изображения, показанного на фиг. 27, информация характеристик динамического диапазона может быть установлена в каждом ракурсе (идентичный ракурс). Дополнительно, в каждом ракурсе (иной ракурс) информация характеристик динамического диапазона установлена в других ракурсах, также может использоваться.

В этом случае информация характеристик динамического диапазона, установленная на основном ракурсе, используется, по меньшей мере, одним дополнительным ракурсом. В качестве альтернативы, например, информация характеристик динамического диапазона, установленная на дополнительном ракурсе (view_id=I) используется, по меньшей мере, одним из основным ракурсом и дополнительным ракурсом (view_id=J).

Посредством этого можно точно воспроизводить динамический диапазон изображения.

Устройство для кодирования многоракурсного изображения

Фиг. 28 представляет собой вид, иллюстрирующий устройство для кодирования многоракурсного изображения, которое выполняет описанный выше процесс кодирования многоракурсного изображения. Как показано на фиг. 28, устройство 600 для кодирования многоракурсного изображения имеет блок 601 кодирования, блок 602 кодирования и блок 603 мультиплексирования.

Блок 601 кодирования кодирует изображение основного ракурса и генерирует изображения основного ракурса закодированного потока. Блок 602 кодирования кодирует изображения дополнительного ракурса и генерирует изображения дополнительного ракурса закодированного потока. Блок 603 мультиплексирования мультиплексирует изображение основного ракурса закодированного потока, сгенерированного блоком 601 кодирования, и изображение дополнительного ракурса закодированных потоков, сгенерированных блоком 602 кодирования, и генерирует многоракурсное изображение закодированного потока.

Устройство 1 для кодирования (фиг. 3) и устройство 201 для кодирования (фиг. 23) применимы к блоку 601 кодирования и блоку 602 кодирования устройства 600 для кодирования многоракурсного изображения. В этом случае устройство 600 для кодирования многоракурсного изображения устанавливает и передает информацию характеристик динамического диапазона, установленную блоком 601 кодирования, и информацию характеристик динамического диапазона, установленную блоком 602 кодирования.

Кроме того, как описано выше, информация характеристик динамического диапазона, установленная блоком 601 кодирования, может быть установлена для совместного использования блоком 601 кодирования и блоком 602 кодирования, и передается. Кроме того, информация, характеристик динамического диапазона в совокупности установленная блоком 602 кодирования, может быть установлена для совместного использования блоком 601 кодирования и блок 602 кодирования, и передается.

Устройство для декодирования многоракурсного изображения

Фиг. 29 представляет собой вид устройства для декодирования многоракурсного изображения, которое выполняет описанный выше процесс декодирования многоракурсного изображения. Как показано на фиг. 29, устройство 610 для декодирования многоракурсного изображения имеет блок 611 обратного мультиплексирования, блок 612 декодирования и блок 613 декодирования.

Блок 611 обратного мультиплексирования выполняет операцию обратного мультиплексирования многоракурсного изображения кодированного потока, полученное посредством мультиплексирования изображения основного ракурса кодированного потока, и изображения дополнительного ракурса закодированных потоков, и демультиплексирует изображение основного ракурса кодированного потока и изображение дополнительного ракурса закодированных потоков. Блок 612 декодирования декодирует изображение основного ракурса закодированного потока, демультиплексированного блоком 611 обратного мультиплексирования, и получает изображение основного ракурса. Блок 613 декодирования декодирует изображение дополнительного ракурса закодированных потоков, демультиплексированные блоком 611 обратного мультиплексирования, и получает изображения дополнительного ракурса.

Устройство 50 для декодирования (фиг. 19) и устройство 251 для декодирования (фиг. 25) применимы к блоку 612 декодирования и блоку 613 декодирования устройства 610 для декодирования многоракурсного изображения. В этом случае устройство 610 для декодирования многоракурсного изображения выполняет операцию, используя информацию характеристик динамического диапазона, установленную блоком 601 кодирования, и декодированную блоком 612 декодирования, и информацию, характеристик динамического диапазона, установленную блоком 602 кодирования и декодируется блоком 613 декодирования.

Кроме того, как описано выше, информация характеристик динамического диапазона, установленная блоком 601 кодирования (или блоком 602 кодирования), может быть установлена для совместного использования блоком 601 кодирования и блоком 602 кодирования, и передается. В этом случае устройство 610 для декодирования многоракурсного изображения выполняет операцию, используя информацию характеристик динамического диапазона, установленную блоком 601 кодирования (или блоком 602 кодирования), и декодируются блоком 612 декодирования (или блоком 613 декодирования).

6. Четвертый вариант осуществления

Приложение кодирования иерархического изображения/декодирования иерархического изображения

Вышеописанная последовательность выполнения операций, применима к кодированию иерархического изображения/декодированию иерархического изображения. Фиг. 30 иллюстрирует пример способа кодирования многоракурсного изображения.

Как показано на фиг. 30, иерархическое изображение включает в себя изображения множества уровней (разрешений) и изображение одного заранее определенного уровня из множества разрешений задается как изображение основного ракурса. Каждый уровень изображения, за исключением изображения основного ракурса используется как изображение дополнительного ракурса.

Когда выполняется кодирование иерархического изображения (пространственная масштабируемость), как показано на фиг. 30, информация характеристик динамического диапазона может быть установлена на каждом уровне (идентичный уровень). Дополнительно, на каждом уровне (другой уровень) информация характеристик динамического диапазона, установленная на другом уровне, может совместно использоваться.

В этом случае информация характеристик динамического диапазона, установленная на основном уровне, используется, по меньшей мере, одним дополнительным уровнем. В качестве альтернативы, например, информация характеристик динамического диапазона, установленная на дополнительном уровне (layer_id=I) используется, по меньшей мере, одним основным уровнем и дополнительным уровнем (layer_id=J).

Посредством этого, можно точно воспроизводить динамический диапазон изображения.

Устройство для кодирования иерархического изображения

Фиг. 31 представляет собой вид, иллюстрирующий устройство для кодирования иерархического изображения, которое выполняет описанный выше процесс кодирования иерархического изображения. Как показано на фиг. 31, устройство 620 для кодирования иерархического изображения имеет блок 621 кодирования, блок 622 кодирования и блок 623 мультиплексирования.

Блок 621 кодирования кодирует изображение основного уровня и генерирует изображение основного уровня закодированного потока. Блок 622 кодирования кодирует изображения дополнительного уровня и генерирует изображение дополнительного уровня закодированных потоков. Блок 623 мультиплексирования мультиплексирует изображение основного уровня закодированного потока, сгенерированного блоком 621 кодирования, и изображение дополнительного уровня кодированных потоков, сгенерированные блоком 622 кодирования, и генерирует иерархическое изображение закодированного потока.

Устройство 1 для кодирования (фиг. 3) и устройство 201 для кодирования 201 (фиг. 23) применимы к блоку 621 кодирования и блоку 622 кодирования устройства 620 для кодирования иерархического изображения. В этом случае в устройство 620 для кодирования иерархического изображения устанавливает и передает информацию характеристик динамического диапазона, установленную блоком 621 кодирования, и информацию характеристик динамического диапазона, установленную блоком 602 кодирования.

Кроме того, как описано выше, информация характеристик динамического диапазона, установленная блоком 621 кодирования, может быть установлена для совместного использования блоком 621 кодирования и блоком 622 кодирования, и передается. С другой стороны, информация характеристик динамического диапазона, установленная блоком 622 кодирования, может быть установлена для совместного использования блоком 621 кодирования и блоком 622 кодирования, и передается.

Устройство для декодирования иерархического изображения

Фиг. 32 представляет собой вид, иллюстрирующий устройство для декодирования иерархического изображения, которое выполняет операцию декодирования вышеописанного иерархического изображения. Как показано на фиг. 32, устройство 630 для декодирования иерархического изображения имеет блок 631 обратного мультиплексирования, блок 632 декодирования и блок 633 декодирования.

Блок 631 обратного мультиплексирования выполняет операцию обратного мультиплексирования иерархического изображения закодированного потока, полученное посредством мультиплексирования изображения основного уровня закодированного потока, изображения дополнительного уровня закодированных потоков и демультиплексирует изображение основного уровня закодированного потока и изображение дополнительного уровня закодированных потоков. Блок 632 декодирования декодирует изображение основного уровня закодированного потока, демультиплексированного блоком 631 обратного мультиплексирования, и получает изображение основного уровня. Блок 633 декодирования декодирует изображение дополнительного уровня закодированных потоков, извлеченных блоком 631 обратного мультиплексирования, и получает изображения дополнительного уровня.

Устройство 50 для декодирования (фиг. 19) и устройство 251 для декодирования (фиг. 25) применимы к блоку 632 декодирования и блоку 633 декодирования устройства 630 для декодирования иерархического изображения. В этом случае устройство 630 для декодирования иерархического изображения выполняет операцию с использованием информации характеристик динамического диапазона, установленного блоком 621 кодирования, и декодированную блоком 632 декодирования, и информацию характеристик динамического диапазона, установленную блоком 622 кодирования, и декодированную блоком 633 декодирования.

Кроме того, как описано выше, информация характеристик динамического диапазона, установленная блоком 621 кодирования (или блоком 622 кодирования), может быть установлена для совместного использования блоком 621 кодирования и блоком 622 кодирования, и передается. В этом случае устройство 630 для декодирования иерархического изображения выполняет операцию, используя информацию характеристик динамического диапазона, установленную блоком 621 кодирования (или блоком 622 кодирования), и декодируется с помощью блока 632 декодирования (или блоком 633 декодирования).

Пятый вариант осуществления

Пример структуры компьютера

Вышеописанная последовательность выполнения операций может быть выполнена с помощью аппаратных средств и также может быть выполнена с помощью программного обеспечения. Когда последовательность операций должны быть выполнены с помощью программного обеспечения, программы, формирующие программное обеспечение, установлены на компьютере. Здесь компьютер может быть компьютером, установленным в аппаратные средства специального назначения, или может быть персональным компьютером общего назначения, который может выполнять различные программы, установленные на нем.

Фиг. 33 показывает блок-схему, иллюстрирующую пример структуры аппаратных средств компьютера, который выполняет описанную выше последовательность операций в соответствии с программами.

В компьютере 800 CPU (центральный процессор) 801, ROM (постоянное запоминающее устройство) 802 и RAM (оперативное запоминающее устройство) 803 соединены друг с другом через шину 804.

Интерфейс 805 ввода/вывода дополнительно соединен с шиной 804. Входной блок 806, выходной блок 807, блок 808 памяти, блок 809 связи и драйвер 810 соединены с интерфейсом 805 ввода/вывода.

Входной блок 806 представляет собой клавиатуру, мышь, микрофон и т.п.Выходной блок 807 является дисплеем, громкоговоритель и тому подобное. Блок 808 памяти представляет собой жесткий диск, энергонезависимую память и т.п.Блок 809 связи образован сетевым интерфейсом или т.п.Драйвер 810 управляет работой съемного носителя 811 информации, такого как магнитный диск, оптический диск, магнитооптический диск и полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше структуру, процессор 801 загружает программу, сохраненную в блоке 808 памяти на RAM 803, через интерфейс 805 ввода/вывода и шину 804, и исполняет эту программу, так что описанная выше последовательность выполнения операций выполняется.

Программы, выполняемые с помощью компьютера 800 (CPU 801), могут быть записаны на съемном носителе 811, как пакетная информация, например. В качестве альтернативы, программы могут быть предоставлены посредством передачи по проводной или беспроводной связи, такой как локальная сеть, Интернет или цифровое спутниковое вещание.

В компьютере программы могут быть установлены в блоке 808 памяти через интерфейс 805 ввода/вывода посредством установления съемного носителя 811 в драйвер 810. Дополнительно, программы могут быть приняты с помощью блока 809 связи посредством передачи по проводной или беспроводной связи и установлены в блоке 808 памяти. Кроме того, программа может быть предварительно установлена на ROM 802 и блоке 808 памяти.

Программа, выполняемая компьютером, может быть программой для выполнения процессов в хронологическом порядке, в соответствии с последовательностью, описанной в данном описании, или программой для выполнения процессов параллельно или, когда это необходимо, например, в ответ на вызов.

В данном описании, этап операции, записанный в программе, записанной на носителе, включает в себя операции, которые будут выполняться параллельно или независимо друг от друга, если нет необходимости в выполнении операций в хронологическом порядке, а также операций, которые будут выполняться в хронологическом порядке, в соответствии с описанной последовательностью в данном документе.

Дополнительно, в данном описании система означает все устройство, образованное множеством устройств.

Кроме того, в описанных выше примерах, любая структура, описанная как одно устройство (или один блок обработки), может быть разделена на два или более устройств обработки (или блоков обработки). И наоборот, любая структура, описанная в виде двух или более устройств (или устройств обработки), может быть объединена и образовывать одно устройство (или один блок обработки). Кроме того, конечно, можно добавить структуру, отличную от тех, которые описаны выше, в структуру любого из устройств (или какого-либо блока обработки). Дополнительно, до тех пор, пока структура и функция всей системы, по существу, остаются теми же, часть структуры устройства (или блока обработки) может быть включена в другое устройство (или другой блок обработки). То есть варианты осуществления настоящего техники не ограничиваются описанными выше вариантами осуществления, и различные модификации могут быть сделаны, не выходя за рамки объема изобретения.

Устройство для кодирования изображения и устройство для декодирования изображения в соответствии с вышеуказанными вариантами осуществления могут быть применены к различным электронным устройствам, таким как передатчики и приемники для спутникового вещания, проводного вещания кабельного телевидения, для распространения в сети Интернет и передачи на терминальные устройства посредством сотовой связи, на устройства записи, которые записывают медиаизображения, такие как оптические диски, магнитные диски и флэш-память, или устройства воспроизведения, которые воспроизводят изображения с этих носителей информации. Далее приводятся описания четырех примеров применения.

Пример применения

Первый пример применения:

Телевизионный приемник

Фиг. 34 иллюстрирует пример схематической структуры телевизионного устройства, в которой вышеуказанные варианты осуществления применяется. Телевизионное устройство 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 906 отображения, блок 907 обработки звукового сигнала, динамик 908, внешний интерфейс 909, блок 910 управления, пользовательский интерфейс 911 и шину 912.

Тюнер 902 извлекает полезный сигнал канала из передаваемых сигналов, принимаемых антенной 901, и демодулирует извлеченный сигнал. Дополнительно, тюнер 902 выводит кодированный битовый поток, полученный в результате демодуляции, в демультиплексор 903. То есть тюнер 902 исполняет роль передатчика в телевизионном устройстве 900, который принимает кодированные потоки закодированных изображений.

Демультиплексор 903 разделяет поток видео- и аудиопоток, просматриваемого контента из кодированного битового потока, и выводит разделенные друг от друга потоки на декодер 904. Кроме того, демультиплексор 903 извлекает вспомогательные данные, такие как EPG (Гид программ) из кодированного битового потока и поставляет извлеченные данные в блок 910 управления. Кроме того, демультиплексор 903 может выполнять дескремблирование, когда кодированный битовый поток скремблирован.

Декодер 904 декодирует видеопоток и аудиовходной поток из демультиплексора 903. Дополнительно, декодер 904 выводит видеоданные, сгенерированные в процессе декодирования, на блок 905 обработки видеосигнала. Кроме того, декодер 904 выводит аудиоданные, сгенерированные в процессе декодирования, на блок 907 обработки аудиосигнала.

Блок 905 обработки видеосигнала воспроизводит видеоданные, поступившие из декодера 904, и отображает видеоизображение на блоке 906 отображения. Кроме того, блок 905 обработки видеосигнала может отображать на блоке 906 отображения приложение экрана, поставленное через сеть. Более того, блок 905 обработки видеосигнала может выполнять дополнительную операцию, такую как удаление шума видеоданных в соответствии с установкой. Дополнительно, блок 905 обработки видеосигнала может генерировать GUI (графический интерфейс пользователя) изображение, такое как меню, кнопки, курсор и наложить сгенерированное изображение на выходное изображение.

Блок 906 отображения управляется посредством сигнала управления, поставленного из блока 905 обработки видеосигнала, и отображает видеоизображение или изображение на экране блока отображения (например, жидкокристаллический дисплей, плазменный дисплей или OELD (дисплей на органической электролюминесценции) (органический дисплей EL)).

Блок 907 обработки аудиосигналов выполняет операцию воспроизведения, такую как D/A преобразование и усиление аудиосигнала, поставленного из декодера 904, и выводит звук из громкоговорителя 908. Кроме того, блок 907 обработки аудиосигнала может выполнять дополнительные операции, такие как удаление шума из аудиоданных.

Внешний интерфейс 909 представляет собой интерфейс, который соединяет телевизионное устройство 900 и внешнее устройство или сеть. Например, видеопоток или аудиопоток, принятый через внешний интерфейс 909, может быть декодирован декодером 904. То есть внешний интерфейс 909 также играет роль передатчика в телевизионном устройстве 900, который принимает кодированные потоки закодированных изображений,

Блок 910 управления имеет процессор, такой как CPU, и память, такую как RAM и ROM. В память хранит программы, выполняемые процессором, программные данные, EPG данные и данные, полученные по сети. Программа, хранимая в памяти, считывается и выполняется CPU, в момент активации телевизионного устройства 900. При выполнении программы, процессор управляет работой телевизионного устройства 900 в зависимости, например, от входного сигнала пользовательского интерфейса 911.

Блок 911 пользовательского интерфейса подключен к блоку 910 управления. Пользовательский интерфейс 911 имеет, например, кнопки и переключатели, которые пользователь использует для управления телевизионным устройством 900, и блок приема, который принимает сигнал дистанционного управления. Пользовательский интерфейс 911 обнаруживает операцию пользователя с помощью этих компонентов, генерирует сигнал операции и выводит сгенерированный сигнал операции в блок 910 управления.

Шина 912 взаимно соединяет тюнер 902, демультиплексор 903, декодер 904, блок 905 обработки видеосигнала, блок 907 обработки аудиосигнала, внешний интерфейс 909 и блок 910 управления.

В телевизионном устройстве 900, которое имеет такую же структуру, декодер 904 имеет функцию устройства для декодирования изображения в соответствии с вышеупомянутыми вариантами осуществления. Посредством этого, когда телевизионное устройство 900 декодирует изображения, можно точно воспроизводить динамический диапазон изображения.

Второй пример применения: портативный телефонный аппарат

Фиг. 35 иллюстрирует пример схематической структуры портативного телефонного устройства, к которому вышеупомянутые варианты осуществления применяются. Портативное телефонное устройство 920 включает в себя антенну 921, блок 922 связи, аудиокодек 923, динамик 924, микрофон 925, блок 926 камеры, блок 927 обработки изображений, блок 928 мультиплексирования/разделения, блок 929 записи/воспроизведения, блок 930 отображения, блок 931 управления, операционный блок 932 и шина 933.

Антенна 921 соединена с блоком 922 связи. Громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Операционный блок 932 соединен с блоком 931 управления. Шина 933 взаимно соединяет блок 922 связи, аудиокодек 923, блок 926 камеры, блок 927 обработки изображения, блок 928 мультиплексирования/разделения, блок 929 записи/воспроизведения, блок 930 отображения и блок 931 управления.

Портативное телефонное устройство 920 выполняет различные операции, такие как передача и прием аудиосигналов, передача и прием сообщений электронной почты и данных изображения, захват изображения и запись данных в различных режимах, таких как режим голосовой связи, в режиме передачи данных, режим захвата изображения и режим видеоконференции.

В режиме аудиосвязи, аналоговый аудиосигнал, генерируемый микрофоном 925, поставляется в аудиокодек 923. Аудиокодек 923 преобразует аналоговый аудиосигнал в аудиоданные и выполняет A/D преобразование и сжатие преобразованных аудиоданных. Кроме того, аудиокодек 923 вырабатывает сжатые аудиоданные в блок 922 связи. Блок 922 связи кодирует и модулирует аудиоданные и генерирует сигнал передачи. Кроме того, блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает и выполняет преобразование частоты радиосигнала, принятого антенной 921, и получает принятый сигнал. Более того, блок 922 связи демодулирует и декодирует принятый сигнал, генерирует аудиоданные и выводит сгенерированные данные аудио в аудиокодек 923. Аудиокодек 923 распаковывает и выполняет D/A преобразование аудиоданных и генерирует аналоговый аудиосигнал. Кроме того, аудиокодек 923 поставляет сгенерированный аудиосигнал в громкоговоритель 924 и вырабатывает звуковой сигнал.

Более того, в режиме передачи данных, например, блок 931 управления генерирует данные текста, которые конфигурирует сообщения электронной почты в соответствии с действием пользователя посредством операционного блока 932. Далее, блок 931 управления управляет отображением текста на блоке 930 отображения. Более того, блок 931 управления генерирует данные электронной почты в соответствии с командой передачи от пользователя через операционный блок 932 и выводит сгенерированные данные электронной почты в блок 922 связи. Блок 922 связи кодирует и модулирует данные электронные почты и генерирует сигнал передачи. Кроме того, блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает и выполняет преобразование частоты радиосигнала, принятого антенной 921, и получает принятые сигнал. Более того, блок 922 связи демодулирует и декодирует принятый сигнал, восстанавливает данные электронной почты и выводит восстановленные данные электронной почты в блок 931 управления. Блок 931 управления отображает контент электронной почты на блоке 930 отображения и сохраняет данные электронной почты на носителе информации блока 929 записи/воспроизведения.

Блок 929 записи/воспроизведения имеет дополнительный носитель данных для чтения/записи. Например, носитель данных может быть встроен в носитель, такой как RAM или флэш-память, и может быть носителем данных, который является внешним, такой как жесткий диск, магнитный диск, магнитооптический диск, оптический диск, USB (универсальная последовательная шина) память или карта памяти.

Дополнительно, в режиме захвата изображения, например, блок 926 камеры захватывает изображение объекта, формирует данные изображения и выводит сформированные данные изображения в блок 927 обработки изображения. Блок 927 обработки изображения кодирует входные данные изображения с блока 926 камеры, и сохраняет кодированный поток на носителе блока 929 записи/воспроизведения.

Дополнительно, в режиме телеконференции, например, блок 928 мультиплексирования/разделения мультиплексирует поток видеоданных, кодированный блоком 927 обработки изображения, и поток аудио, поступивший из аудиокодека 923, и выводит мультиплексированный поток в блок 922 связи. Блок 922 связи кодирует и модулирует поток и генерирует сигнал передачи. Кроме того, блок 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Кроме того, блок 922 связи усиливает и выполняет преобразование частоты радиосигнала, принятого антенной 921, и получает принятые сигнал. Передача сигнала и прием сигнала может включать в себя кодированные битовые потоки. Кроме того, блок 922 связи демодулирует и декодирует принятый сигнал, восстанавливает поток и выводит восстановленный поток в блок 928 мультиплексирования/разделения. Блок 928 мультиплексирования/разделения разделяет поток видео- и аудиопоток из входного потока и вырабатывает видеопоток в блок 927 обработки изображений и поток аудио в аудиокодек 923. Блок 927 обработки изображения декодирует видеопоток и генерирует видеоданные. Видеоданные поставляются в блок 930 отображения, и блок 930 отображения отображает последовательность изображений. Аудиокодек 923 распаковывает и выполняет D/A преобразование аудиопотока и генерирует аналоговый аудиосигнал. Кроме того, аудиокодек 923 подает сгенерированный звуковой сигнал в громкоговоритель 924 и выводит звуковой сигнал.

В портативном телефонном устройстве 920, которое имеет структуру, где блок 927 обработки изображения имеет функции устройства для кодирования изображения и устройства для декодирования изображения в соответствии с вышеуказанными вариантами осуществления. Посредством этого при кодировании и декодировании изображений в портативном телефонном устройстве 920, можно точно воспроизводить динамический диапазон изображения.

Третий пример применения: устройство записи/воспроизведения

Фиг. 36 иллюстрирует пример схематической структуры устройства записи/воспроизведения, в которой вышеуказанные варианты осуществления применяется. Устройство 940 записи/воспроизведения кодирует, например, аудиоданные и видеоданные, принятые при широковещательной передачи информации, и записывает данные на носитель записи. Кроме того, устройство 940 записи/воспроизведения кодирует, например, звуковые данные и видеоданные, полученные от другого устройства, и записывает данные на носитель записи. Кроме того, устройство 940 записи/воспроизведения воспроизводит данные, записанные на носителе записи, на мониторе и динамике в соответствии, например, с командами пользователя. В этом случае устройство 940 записи/воспроизведения декодирует звуковые данные и видеоданные.

Устройство 940 записи/воспроизведения включает в себя тюнер 941, блок 942 внешнего интерфейса, кодер 943, жесткий диск (драйвер жесткого диска) 944, драйвер 945 диска, селектор 946, декодер 947, OSD (экран) блок 948, блок 949 управления и пользовательский интерфейс 950.

Тюнер 941 извлекает полезный сигнал канала из передаваемых сигналов, принимаемых антенной (не показана), и демодулирует извлеченный сигнал. Кроме того, тюнер 941 вырабатывает кодированный битовый поток, полученный посредством демодуляции, на селектор 946. То есть тюнер 941 играет роль передатчика в устройстве 940 записи/воспроизведения.

Блок 942 внешнего интерфейса представляет собой интерфейс, который соединяет устройство 940 записи/воспроизведения с внешним устройством или сетью. Блок 942 внешнего интерфейса представляет собой интерфейс IEEE 13 94, блок сетевого интерфейса, интерфейс USB, интерфейс флэш-памяти и тому подобное. Например, видеоданные и звуковые данные, полученные с помощью блока 942 внешнего интерфейса, вводятся в кодер 943. То есть блок 942 внешнего интерфейса играет роль передатчика в устройстве 940 записи/воспроизведения.

Когда видеоданные и аудиоданные поступают на вход из блока 942 внешнего интерфейса, то они не кодируются, кодер 943 кодирует видеоданные и аудиоданные. Кроме того, кодер 943 выводит кодированный битовый поток в селектор 946.

HDD 944 записывает закодированные битовые потоки, полученные путем сжатия данных контента, таких как видеоизображения и аудио, различных программ и других данных, на жестком диске. Кроме того, HDD 944 считывает эти элементы данных с жесткого диска в момент воспроизведения видеоизображения и звука.

Драйвер 945 диска записывает и считывает данные на и из съемного носителя записи. Носитель записи устанавливается в драйвер 945 диска, например, DVD-диск (например, DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R и DVD+RW) или Blu-Ray (зарегистрированный товарный знак).

Во время записи видео и аудио, селектор 946 выбирает кодированный битовый поток, поступающий на вход, из тюнера 941 или кодера 943, и выводит выбранный кодированный битовый поток на жесткий диск 944 или дисковод 945. Кроме того, селектор 946 выводит кодированный битовый поток, поступивший с жесткого диска 944 или дисковода 945, на декодер 947 во время воспроизведения видео и аудио.

Декодер 947 декодирует кодированный битовый поток и генерирует видеоданные и аудиоданные. Дополнительно, декодер 947 выводит сгенерированные видеоданные на OSD 948. Более того, декодер 904 выводит сгенерированные звуковые данные на внешний громкоговоритель.

OSD 948 воспроизводит поступившие видеоданные из декодера 947 и отображает видеоизображение. Кроме того, OSD 948 может наложить GUI изображение, например, меню, кнопки или курсор, на видеоизображение, которое будет отображаться.

Блок 949 управления имеет процессор, такой как CPU, и память, например, RAM и ROM. Память хранит программы, выполняемые процессором, и данные программы. Программа, хранящаяся в памяти, считывается и выполняется процессором, например, во время активации устройства 940 записи/воспроизведения. При выполнении программы процессор управляет работой устройства 940 записи/воспроизведения в соответствии с, например, входным сигналом управления, поступившим из пользовательского интерфейса 950.

Пользовательский интерфейс 950 подключен к блоку 949 управления. Пользовательский интерфейс 950 имеет, например, кнопки и переключатели, которые пользователь использует для управления функционированием устройства 940 записи/воспроизведения, и блок приема, который принимает сигнал дистанционного управления. Пользовательский интерфейс 950 обнаруживает операцию пользователя с помощью этих компонентов, генерирует сигнал операции и выводит сгенерированный сигнал операции в блок 949 управления.

В устройстве 940 записи/воспроизведения, которое имеет такую структуру, где кодер 943 имеет функцию устройства для кодирования изображения в соответствии с вышеупомянутыми вариантами осуществления. Кроме того, декодер 947 имеет функцию устройства для декодирования изображения в соответствии с вышеуказанными вариантами осуществления. Посредством этого, при кодировании и декодировании изображений в устройстве 940 записи/воспроизведения, можно точно воспроизводить динамический диапазон изображения.

Четвертый пример применения: устройство формирования изображения

Фиг. 37 иллюстрирует пример схематической структуры устройства формирования изображения, к которому вышеупомянутые варианты осуществления применяются. Устройство 960 формирования изображения захватывает изображение объекта, генерирует изображение, кодирует данные изображения и записывает данные изображения на носитель записи.

Устройство 960 формирования изображения включает в себя оптический блок 961, блок 962 формирования изображения, блок 963 обработки сигнала, блок 964 обработки изображения, блок 965 отображения, внешний интерфейс 966, память 967, дисковод 968, OSD 969, блок 970 управления, пользовательский интерфейс 971 и шину 972.

Оптический блок 961 соединен с блоком 962 формирования изображения. Блок 962 формирования изображения соединен с блоком 963 обработки сигнала 963. Блок 965 отображения соединен с блоком 964 обработки изображений. Пользовательский интерфейс 971 подключен к блоку 970 управления. Шина 972 взаимно соединяет блок 964 обработки изображения, внешний интерфейс 966, память 967, дисковод 968, OSD 969 и блок 970 управления.

Оптический блок 961 имеет фокусирующие линзы, диафрагму и тому подобное. Оптического блок 961 формирует оптическое изображение объекта на поверхности формирования изображения блока 962 формирования изображения. Блок 962 формирования изображения имеет датчик изображения, такие как CCD (прибор с зарядовой связью) или CMOS (комплементарный металл-оксид-полупроводник) и преобразует оптическое изображение, сформированное на поверхности формирования изображения, в сигнал изображения в виде электрического сигнала посредством фотоэлектрического преобразования. Кроме того, блок 962 формирования изображения выводит сигнал изображения в блок 963 обработки сигнала.

Блок 963 обработки сигналов выполняет различные виды операций сигнала камеры, такие как коррекция искажений, гамма-коррекцию и коррекцию цвета входного сигнала изображения, поступившего из блока 962 формирования изображения. Блок 963 обработки сигнала выводит данные изображения, подвергнутого обработке, в блок 964 обработки изображений.

Блок 964 обработки изображения кодирует входные данные изображения, поступившие из блока 963 обработки сигнала, и генерирует кодированные данные. Кроме того, блок 964 обработки изображения выводит сгенерированные закодированные данные на внешний интерфейс 966 или дисковод 968. Кроме того, блок 964 обработки изображения декодирует кодированные данные, вводимые из внешнего интерфейса 966 или дисковода 968, и генерирует данные изображения. Более того, блок 964 обработки изображения выводит сгенерированные данные изображения в блок 965 отображения. Кроме того, блок 964 обработки изображения может выводить данные изображения, поступившие из блока 963 обработки сигналов, в блок 965 отображения, и осуществляет отображение изображения. Кроме того, блок 964 обработки изображения может наложить данные отображения, полученные из OSD 969, на изображение для вывода на блок 965 отображения.

OSD 969 генерирует GUI изображение, например, меню, кнопки или курсор и выводит сгенерированное изображение в блок 964 обработки изображения.

Внешний интерфейс 966 выполнен в виде, например, USB вход/выход терминала. Внешний интерфейс 966 подключает устройство 960 формирования изображения и принтер, на время печати изображения. Кроме того, внешний интерфейс 966 соединяется с дисководом, если это необходимо. Съемный носитель, такой как магнитный диск или оптический диск на дисковод и программа считывается со съемного носителя, который может быть установлен в устройстве 960 формирования изображения. Кроме того, внешний интерфейс 966 включает в себя сетевой интерфейс, подключенный к сети, такой как в локальной сети или через Интернет. То есть внешний интерфейс 966 играет роль передатчика в устройстве 960 формирования изображения.

Носитель записи, установленный на дисковод 968, может быть произвольным съемным читаемым/перезаписываемым носителем, таким как магнитный диск, магнитооптический диск, оптический диск или полупроводниковое запоминающее устройство. Кроме того, носитель записи устанавливается на дисковод 968 и закрепляется, и таким образом образуется не портативное устройство хранения, такое как встроенный жесткий диск или SSD (твердотельный накопитель).

Блок 970 управления имеет процессор, такой как CPU и память, такую как RAM и ROM. Память хранит программы, выполняемые процессором, и данные программы. Программа, хранимая в памяти, считывается и выполняется процессором при, например, активации устройства 960 формирования изображения. При выполнении программы, процессор управляет работой устройства 960 формирования изображения в зависимости, например, от операции входного сигнала из пользовательского интерфейса 971.

Пользовательский интерфейс 971 подключен к блоку 970 управления. Пользовательский интерфейс 971 содержит, например, кнопки и переключатели, которые пользователь использует для управления устройством 960 формирования изображения. Пользовательский интерфейс 971 обнаруживает операцию пользователя с помощью этих компонентов, генерирует операционный сигнал и выводит сгенерированный сигнал операции на блок 970 управления.

В устройстве 960 формирования изображения, имеющего структуру, где устройство 964 обработки изображения имеет функции устройства для кодирования изображения и устройства для декодирования изображения в соответствии с вышеуказанными вариантами осуществления. Посредством этого, при кодировании и декодировании изображений в устройстве 960 формирования изображения, можно точно воспроизводить динамический диапазон изображения.

Следует отметить, что варианты осуществления настоящего изобретения не ограничиваются описанными выше вариантами осуществления, и различные модификации могут быть сделаны, не отступая от объема настоящего изобретения.

Например, блок 55 управления дисплеем и блок 56 отображения на фиг. 19 могут быть предусмотрены вне устройства 50 для декодирования.

Дополнительно, настоящее изобретение может использовать конфигурацию облачных вычислений, которая позволяет совместно использовать одну функцию из множества устройств через сеть и выполняет операцию совместно.

Более того, каждый этап, описанный в приведенной выше блок-схеме алгоритма, может быть выполнен одним устройством или совместно использоваться множеством устройств.

Более того, когда один этап включает в себя множество операций, множество операций, включенных в этот этап, может быть выполнено с помощью одного устройства или совместно множеством устройств.

Кроме того, был описан пример в данном описании, где различные элементы информации, такие как информация характеристик динамического диапазона, мультиплексированы с кодированным потоком, и передаются из стороны кодирования на сторону декодирования. Тем не менее, способ передачи этих элементов информации не ограничивается этим примером. Например, эти элементы информации могут быть переданы или записаны как различные данные, ассоциированные с кодированным битовым потоком без мультиплексирования с кодированным битовым потоком. Между тем, термин "ассоциированный" означает наличие связи изображения (или часть изображения, например, срез или блок), включенного в битовый поток, или информации, ассоциированной с этим изображением в момент декодирования. То есть информация может быть передана по каналу передачи, отличной от изображения (или битовый поток). Кроме того, информация может быть записана на носителе записи (или другой области записи одного носителя записи), отличной от изображения (или битового потока). Кроме того, информация изображения (или поток битов) может быть ассоциирована друг с другом в произвольных блоках, таких как множество кадров, один кадр или часть в кадре.

Более того, в настоящем варианте осуществления флаг не ограничивается какой-либо информацией, например, наличием или отсутствием (0 или 1) и включает в себя информацию, которая позволяет идентифицировать конкретный элемент из множества вариантов.

Хотя пригодные варианты осуществления настоящего изобретения были описаны подробно со ссылкой на прилагаемые чертежи, настоящее изобретение не ограничивается этими примерами. Очевидно, что тот, кто имеет общие знания в области техники, к которой относится изобретение, может получить различные примеры модификаций и примеры исправлений в пределах объема технической идеи, описанной в формуле изобретения, и эти примеры, естественно, относятся к техническому объему настоящего изобретения.

Кроме того, настоящее изобретение может также использовать следующую структуру.

(1) Устройство обработки изображений имеет: блок кодирования, который выполняет операцию кодирования изображения и генерирует битовый поток;

блок установки, который устанавливает информацию характеристик динамического диапазона, которая указывает характеристики динамического диапазона, которая будет назначена проявленному изображению, захваченному изображению; и

блок передачи, который передает битовый поток, сгенерированный блоком кодирования, и информацию характеристик динамического диапазона, установленную блоком установки.

(2) Устройство обработки изображения, описанное выше в (1), в котором блок установки устанавливает информацию кода, которая указывает на код динамического диапазона для назначения проявленному изображению, на захваченном изображении, как информацию характеристик динамического диапазона.

(3) Устройство обработки изображения, описанное выше в (1) или (2), в котором блок установки устанавливает информацию кода, которая указывает код для назначения проявленному изображению, на уровень белого захваченного изображения как информацию характеристик динамического диапазона.

(4) Устройство обработки изображений, описанное в любом из вышеупомянутых пунктах с (1) по (3), в котором блок установки устанавливает информацию кода уровня белого, которая указывает на код, который будет присвоен проявленному изображению, на уровень белого захваченного изображения, информацию характеристик динамического диапазона.

(5) Устройство обработки изображений, описанное в любом из вышеупомянутых пунктах с (1) по (4), в котором блок установки устанавливает информацию кода максимального уровня белого, которая указывает максимальную величину кода, который будет присвоен уровню белого проявленного изображения, как информацию характеристик динамического диапазона.

(6) Устройство для обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (5), в котором блок установки устанавливает информацию кода уровня черного, которая указывает код уровня черного проявленного изображения, как информацию характеристик динамического диапазона.

(7) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (6), в котором блок установки устанавливает информацию кода уровня серого, которая указывает код уровня серого проявленного изображения, как информацию характеристик динамического диапазона.

(8) Устройство обработки изображения, описанное в любом из вышеуказанных пунктов с (1) по (7), в котором блок установки устанавливает информацию максимального уровня белого, которая указывает максимальное значение уровня белого захваченного изображения, как информацию характеристик динамического диапазона.

(9) Устройство обработки изображений, описанное в любом из пунктов с (1) по (8), в котором блок установки устанавливает информацию, которая указывает на диапазон яркости в области, представляющей интерес, изображения, полученного путем выполнения операции декодирования битового потока, как информацию характеристик динамического диапазона.

(10) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (9), в котором блок установки устанавливает информацию, которая указывает на позицию и смещение области, представляющей интерес, изображения, полученного путем выполнения операции декодирования битового потока, как информацию характеристик динамического диапазона.

(11) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (10), в котором блок передачи передает информацию характеристик динамического диапазона как вспомогательную информацию, используемую для отображения изображения, полученного путем выполнения операции декодирования битового потока.

(12) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (10), в котором блок передачи передает информацию характеристик динамического диапазона как расширенную вспомогательную информацию, полученную посредством расширения существующих вспомогательной информации.

(13) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (10), в котором блок передачи передает информацию характеристик динамического диапазона как tone_mapping_information SEI (Дополнительная расширенная информация).

(14) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (10), в котором блок передачи расширяет model_id, используемый для передачи информации характеристик динамического диапазона путем таргетирования на tone_mapping_information SEI, и передает информацию характеристик динамического диапазона как SEI

(15) Устройство обработки изображений, описанное в любом из вышеуказанных пунктах с (1) по (10), в котором блок передачи передает информацию характеристик динамического диапазона как VUI (информация о доступности видео), которая указывает на доступность использования изображения в последовательности.

(16) Устройство обработки изображений, описанное в любом из вышеуказанных пунктов с (1) по (15), в котором блок кодирования выполняет операцию кодирования изображения в соответствии со способом кодирования, совместимым с AVC/H. 264.

(17) Способ обработки изображения включает в себя:

выполнение операции кодирования изображения и генерирование битового потока;

установку информации характеристик динамического диапазона, которая указывает характеристики динамического диапазона, которые будут присвоены проявленному изображению, на захваченное изображение; и

передачу сгенерированного битового потока и установку информации характеристик динамического диапазона.

(18) Устройство обработки изображений, которое имеет: блок приема, который принимает битовый поток и информацию характеристик динамического диапазона, которая указывает характеристики динамического диапазона изображения, полученного путем выполнения операции декодирования битового потока;

блок декодирования, который выполняет операцию декодирования битового потока, принятого блоком приема, и генерирует изображение; и

блок корректировки изображения, который использует информацию характеристик динамического диапазона, принятую блоком приема, и корректирует динамический диапазон изображения, генерируемого блоком декодирования.

(19) Устройство обработки изображений, описанное выше в п. (18), которое дополнительно имеет блок приема, который принимает битовый поток и информацию характеристик динамического диапазона, и

блок декодирования выполняет операцию декодирования битового потока, принятого блоком приема, и

блок корректировки изображения использует информацию характеристик динамического диапазона, принятую блоком приема, и корректирует динамический диапазон изображения, генерируемого блоком декодирования.

(20) Способ обработки изображения включает в себя:

прием битового потока и информацию характеристик динамического диапазона, которая указывает характеристики динамического диапазона изображения, полученного путем выполнения операции декодирования битового потока;

выполнение операции декодирования принятого битового потока и генерацию изображения; и

использование принятой информации характеристик динамического диапазона и регулировка динамического диапазона генерируемого изображения.

Перечень ссылочных позиций

1 устройство для кодирования

2 блок кодирования

3 блок установки

4 блок передачи

50 устройство для декодирования

51 блок приема

52 блок демультиплексирования

53 блок декодирования

54 блок корректировки изображения

55 блок управления дисплеем

56 блок отображения

201 устройство для кодирования

211 блок кодирования

251 устройство для декодирования

261 блок декодирования

Настоящее изобретение относится к средствам обработки изображений. Технический результат заключается в повышении точности воспроизведения динамического диапазона изображения. Устройство обработки изображений содержит процессор, выполненный с возможностью: декодировать данные изображения, закодированные в соответствии с HEVC технологией; принимать информацию характеристики динамического диапазона, ассоциированную с закодированными данными изображения, причем информация характеристики динамического диапазона включает в себя информацию чувствительности ISO камеры, указывающую как процент относительно опорного уровня белого динамический диапазон яркости закодированных данных изображения, при этом процент больше 100%, информация чувствительности ISO камеры указывает чувствительность камеры во время захвата изображения, и информация характеристики динамического диапазона дополнительно включает в себя опорную информацию яркости отображения, указывающую настройки опорного значения отображения уровня белого закодированных данных изображения; и корректировать динамический диапазон данных декодированного изображения, основываясь на информации характеристики динамического диапазона. 6 н. и 29 з.п. ф-лы, 37 ил.

1. Устройство обработки изображений, содержащее

по меньшей мере один процессор, выполненный с возможностью:

декодировать данные изображения, закодированные в соответствии с HEVC технологией, для генерирования данных декодированного изображения;

принимать информацию характеристики динамического диапазона, ассоциированную с закодированными данными изображения, причем информация характеристики динамического диапазона включает в себя информацию чувствительности ISO камеры, указывающую как процент относительно опорного уровня белого динамический диапазон яркости закодированных данных изображения, при этом процент больше 100%, информация чувствительности ISO камеры указывает чувствительность камеры во время захвата изображения, и информация характеристики динамического диапазона дополнительно включает в себя опорную информацию яркости отображения, указывающую настройки опорного значения отображения уровня белого закодированных данных изображения, при этом настройки опорного значения отображения уровня белого используются для получения изображения и определяются в единицах кандела на квадратный метр; и

корректировать динамический диапазон данных декодированного изображения, основываясь на информации характеристики динамического диапазона, в котором

информация характеристики динамического диапазона представляет собой информацию тонового отображения, определенную в HEVC.

2. Устройство обработки изображений по п. 1, в котором по меньшей мере один процессор дополнительно выполнен с возможностью увеличить динамический диапазон данных декодированного изображения до динамического диапазона данных изображения, основываясь на информации характеристики динамического диапазона.

3. Устройство обработки изображений по п. 1, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения максимального уровня белого изображения, идентифицирующую кодовое значение яркости максимального уровня белого.

4. Устройство обработки изображений по п. 1, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня белого, идентифицирующую кодовое значение яркости уровня белого.

5. Устройство обработки изображений по п. 4, в котором информация кодового значения уровня белого идентифицирует множество кодовых значений яркости множества уровней белого.

6. Устройство обработки изображений по п. 1, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня чёрного, идентифицирующую кодовое значение яркости уровня чёрного.

7. Устройство обработки изображений по п. 1, в котором информация характеристики динамического диапазона идентифицирует кодовое значение яркости, ассоциированное с яркостью данных изображения, кодовое значение яркости находится в диапазоне между 0 и 1024.

8. Устройство обработки изображений, содержащее

по меньшей мере один процессор, выполненный с возможностью:

декодировать данные изображения для генерирования данных декодированного изображения;

получать, когда флаг, указывающий наличие/отсутствие информации характеристики динамического диапазона, ассоциированной с данными изображения, указывает ее наличие, информацию характеристики динамического диапазона, включающую в себя информацию максимального уровня белого изображения, указывающую относительно уровня белого, созданного при условии, что белый контент в единицах кандела на квадратный метр, динамический диапазон яркости данных изображения, и опорную информацию отображения, указывающую опорное значение яркости отображения уровня белого; и

корректировать динамический диапазон данных декодированного изображения, основываясь на информации характеристики динамического диапазона.

9. Устройство обработки изображений по п. 8, в котором информация кодового значения уровня белого идентифицирует множество кодовых значений яркости множества уровней белого.

10. Устройство обработки изображений по п. 8, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня чёрного, идентифицирующую кодовое значение яркости уровня чёрного.

11. Устройство обработки изображений по п. 8, в котором информация характеристики динамического диапазона идентифицирует кодовое значение яркости, ассоциированное с яркостью данных изображения, кодовое значение яркости находится в диапазоне между 0 и 1024.

12. Устройство обработки изображений по п. 8, в котором информация характеристики динамического диапазона представляет собой tone_mapping_information (информацию тонового отображения) SEI (дополнительная расширенная информация).

13. Устройство обработки изображений по п. 8, в котором информация характеристики динамического диапазона представляет собой другую информацию характеристики динамического диапазона.

14. Устройство обработки изображений по п. 8, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения максимального уровня белого изображения, идентифицирующую кодовое значение яркости максимального уровня белого изображения.

15. По меньшей мере один машиночитаемый носитель информации, имеющий хранимые на нем команды, которые, когда выполняются по меньшей мере одним процессором, выполняют способ обработки изображения, способ содержит:

декодирование данных изображения, закодированные в соответствии с HEVC технологией, для генерирования данных декодированного изображения;

приём информации характеристики динамического диапазона, ассоциированной с закодированными данными изображения, причем информация характеристики динамического диапазона включает в себя информацию чувствительности ISO камеры, указывающую как процент относительно опорного уровня белого динамический диапазон яркости закодированных данных изображения, при этом процент больше 100%, информация чувствительности ISO камеры указывает чувствительность камеры во время захвата изображения, и информация характеристики динамического диапазона дополнительно включает в себя опорную информацию яркости отображения, указывающую настройки опорного значения отображения уровня белого закодированных данных изображения, при этом настройки опорного значения отображения уровня белого используются для получения изображения и определяются в единицах кандела на квадратный метр; и

корректировку динамического диапазона данных декодированного изображения, основываясь на информации характеристики динамического диапазона, в котором

информация характеристики динамического диапазона представляет собой информацию тонового отображения, определенную в HEVC.

16. По меньшей мере один машиночитаемый носитель информации по п. 15, в котором способ дополнительно содержит увеличение динамического диапазона данных декодированного изображения до динамического диапазона данных изображения, основываясь на информации характеристики динамического диапазона.

17. По меньшей мере один машиночитаемый носитель информации по п. 15, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения максимального уровня белого изображения, идентифицирующую кодовое значение яркости максимального уровня белого.

18. По меньшей мере один машиночитаемый носитель информации по п. 15, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня белого, идентифицирующую кодовое значение яркости уровня белого.

19. По меньшей мере один машиночитаемый носитель информации по п. 17, в котором информация кодового значения уровня белого идентифицирует множество кодовых значений яркости множества уровней белого.

20. По меньшей мере один машиночитаемый носитель информации по п. 15, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня чёрного, идентифицирующую кодовое значение яркости уровня чёрного.

21. По меньшей мере один машиночитаемый носитель информации по п. 15, в котором информация характеристики динамического диапазона идентифицирует кодовое значение яркости, ассоциированное с яркостью данных изображения, кодовое значение яркости находится в диапазоне между 0 и 1024.

22. По меньшей мере один машиночитаемый носитель информации, имеющий хранимые на нем данные изображения, закодированные в соответствии с HEVC технологией, и информацию характеристики динамического диапазона, ассоциированную с закодированными данными изображения, которые, когда закодированные данные изображения декодированы по меньшей мере одним процессором, обрабатываются по меньшей мере одним процессором для корректировки динамического диапазона закодированных данных изображения, информация характеристики динамического диапазона содержит:

информацию чувствительности ISO камеры, указывающую как процент относительно опорного уровня белого динамический диапазон яркости данных изображения, при этом процент больше 100%, информация чувствительности ISO камеры указывает чувствительность камеры во время захвата изображения; и

опорную информацию яркости отображения, указывающую настройки опорного значения отображения уровня белого закодированных данных изображения, при этом настройки опорного значения отображения уровня белого используются для получения изображения и определяются в единицах кандела на квадратный метр, в котором

информация характеристики динамического диапазона представляет собой информацию тонового отображения, определенную в HEVC.

23. По меньшей мере один машиночитаемый носитель информации по п. 22, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения максимального уровня белого изображения, идентифицирующую кодовое значение яркости максимального уровня белого.

24. По меньшей мере один машиночитаемый носитель информации по п. 22, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня белого, идентифицирующую кодовое значение яркости уровня белого.

25. По меньшей мере один машиночитаемый носитель информации по п. 23, в котором информация кодового значения уровня белого идентифицирует множество кодовых значений яркости множества уровней белого.

26. По меньшей мере один машиночитаемый носитель информации по п. 22, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня чёрного, идентифицирующую кодовое значение яркости уровня чёрного.

27. По меньшей мере один машиночитаемый носитель информации по п. 22, в котором информация характеристики динамического диапазона идентифицирует кодовое значение яркости, ассоциированное с яркостью данных изображения, кодовое значение яркости находится в диапазоне между 0 и 1024.

28. Устройство обработки изображений, содержащее

по меньшей мере один процессор, выполненный с возможностью:

кодировать данные изображения для генерирования данных кодированного изображения;

обеспечивать, когда флаг, указывающий наличие/отсутствие информации характеристики динамического диапазона, ассоциированной с данными изображения, указывает ее наличие, информацию характеристики динамического диапазона, включающую в себя информацию максимального уровня белого изображения, указывающую относительно уровня белого, созданного при условии, что белый контент в единицах кандела на квадратный метр, динамический диапазон яркости данных изображения, и опорную информацию отображения, указывающую опорное значение яркости отображения уровня белого.

29. Устройство обработки изображений по п. 28, в котором информация кодового значения уровня белого идентифицирует множество кодовых значений яркости множества уровней белого.

30. Устройство обработки изображений по п. 28, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения уровня чёрного, идентифицирующую кодовое значение яркости уровня чёрного.

31. Устройство обработки изображений по п. 28, в котором информация характеристики динамического диапазона идентифицирует кодовое значение яркости, ассоциированное с яркостью данных изображения, кодовое значение яркости находится в диапазоне между 0 и 1024.

32. Устройство обработки изображений по п. 28, в котором информация характеристики динамического диапазона представляет собой tone_mapping_information (информацию тонового отображения) SEI (дополнительная расширенная информация).

33. Устройство обработки изображений по п. 28, в котором информация характеристики динамического диапазона представляет собой другую информацию характеристики динамического диапазона.

34. Устройство обработки изображений по п. 28, в котором информация характеристики динамического диапазона дополнительно включает в себя информацию кодового значения максимального уровня белого изображения, идентифицирующую кодовое значение яркости максимального уровня белого изображения.

35. Устройство обработки изображений, содержащее

по меньшей мере один процессор, выполненный с возможностью:

декодировать данные изображения для генерирования данных декодированного изображения;

получать, когда флаг, указывающий наличие/отсутствие информации характеристики динамического диапазона, ассоциированной с данными изображения, указывает ее наличие, информацию характеристики динамического диапазона, включающую в себя информацию максимального уровня белого изображения, указывающую контент в единицах кандела на квадратный метр; и

корректировать динамический диапазон данных декодированного изображения, основываясь на информации характеристики динамического диапазона.