Область техники, к которой относится изобретение
Настоящая технология относится к устройству декодирования и способу декодирования и устройству кодирования и способу кодирования и, более конкретно, к устройству декодирования и способу декодирования и к устройству кодирования и способу кодирования, выполненным с возможностью кодирования и декодирования независимо в направлении времени для каждого элемента мозаичного изображения.
Уровень техники
В настоящее время происходит внедрение системы кодирования, называемой Высокоэффективное кодирование видеоданных (HEVC) Объединенной группы сотрудничества по кодированию видеоданных (JCTVC), Объединенной организации стандартизации, такой, как ITU-T и ISO/IEC, с целью дальнейшего улучшения стандарта H.264/AVC в отношении эффективности кодирования. Что касается стандартов HEVC, в феврале 2012 г. был опубликован проект документа комитета в качестве исходной версии проекта документа (например, см. непатентную литературу 1).
В соответствии со стандартами HEVC, изображение может быть разделено на модули в виде элементов мозаичного изображения или срезов для кодирования. При декодировании кодированного потока, разделенного на такие модули и кодированного, отсутствует корреляция между разделенными модулями в процессе формирования информации в отношении адаптивного двоичного арифметического кодирования на основе контекста (CABAC), режимов прогнозирования внутри кадра, значений квантования и т.п.
Однако, в соответствии с прогнозированием между кадрами, не установлено ограничение для векторов движения. В этом случае, кодированное изображение разных элементов мозаичного изображения в разное время можно использовать, как опорное изображение. В соответствии с этим, не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.
Более конкретно, как показано на фиг. 1, например, каждый из кадра №t, имеющего величину подсчета порядка изображения (POC), равную t, и кадра №t-1, имеющего POC t-1, разделяют на четыре элемента мозаичного изображения и выполняют прогнозирование между кадрами, при этом все кодированные изображения среди четырех элементов мозаичного изображения кадра №t-1 могут быть определены, как возможные опорные изображения для CU (модуль кодирования) для кадра №t.
В соответствии с этим, существует случай, когда декодируемое изображение 12 в пределах элемента №2 мозаичного изображения, имеющего определенный ID (ниже называемый ID элемента мозаичного изображения), равный 2 и содержащееся в кадре №t-1, определяют как опорное изображение для CU 11 элемента №1 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, и содержащегося, например, в кадре №t. Другими словами, возникает случай, когда вектор, который имеет исходную точку CU11 и конечную точку области 12A кадра №t, соответствующую декодируемому изображению 12, обнаруживают, как вектор 13 движения. В этом случае требуется ссылка на декодируемое изображение 12 элемента №2 мозаичного изображения, отличного от элемента №1 мозаичного изображения, содержащего CU 11; поэтому, не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.
В соответствии с этим, устройство декодирования должно иметь общий буфер декодирования декодируемого изображения (DPB), который содержит декодируемые изображения для всех элементов мозаичного изображения.
На фиг. 2 показана блок-схема, представляющая пример состава устройства декодирования такого типа.
Устройство 30 декодирования на фиг. 2 состоит из модуля 31-1 - 31-N декодирования, DPB 32-1 - 32-N и общего DPB 33.
Кодированный поток, содержащий разделенные N элементов мозаичного изображения (N представляет собой произвольное положительное число) и кодированный для каждого модуля из элементов мозаичного изображения, вводят в устройство 30 декодирования. Кодированные данные каждого элемента мозаичного изображения подают в соответствующий модуль 31-1 - 31-N декодирования.
Каждый из модулей 31-1 - 31-N декодирования декодирует кодированные данные соответствующего элемента мозаичного изображения, используя соответствующие изображения из декодированных изображений, сохраненных в общем DPB 33 для всех элементов мозаичного изображения, содержащихся в соответствующем кадре, в качестве опорного изображения.
Более конкретно, модуль 31-1 декодирования декодирует кодированные данные элемента №1 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, используя опорное изображение, и подает декодированное изображение для элемента №1 мозаичного изображения, полученного, как результат декодирования, в DPB 32-1. Аналогично, модули 31-2 - 31-N декодирования декодируют данные элемента №2 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 2, элемента №3 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 3, и вплоть до элемента №N мозаичного изображения, имеющего ID элемента мозаичного изображения, равный N, используя опорные изображения, соответственно. Затем модули 31-2 - 31-N декодирования подают декодированные изображения элемента №2 мозаичного изображения, элемента №3 мозаичного изображения и вплоть до элемента №N мозаичного изображения, полученного в результате декодирования, в DPB 32-2, DPB 32-3 и вплоть до 32-N DPB, соответственно.
DPB 32-1 - 32-N содержит декодированные изображения, подаваемые соответствующими модулями 31-1 - 31-N декодирования. В DPB 32-1 - 32-N подают сохраненные декодированные изображения в общий DPB 33 и позволяют сохранять этим декодированные изображения в общем DPB 33.
В общем DPB 33 содержатся декодированные изображения элемента №1 мозаичного изображения - элемента №N мозаичного изображения, подаваемых одновременно в DPB 32-1 - 32-N, как декодированные изображения одного кадра. Общий DPB 33 выводит сохраненные декодированные изображения для каждого модуля кадров, как результаты декодирования.
Кроме того, хотя это и не показано на чертежах, общий DPB должен быть предусмотрен в устройстве кодирования для прогнозирования между кадрами аналогично DPB в устройстве 30 декодирования.
Список литературы
Непатентный документ
Непатентный документ 1: Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegant, “High efficiency video coding (HEVC) text specification draft 6” JCTVC-H10003 ver 21, 2012.2.17
Раскрытие изобретения
Задачи, решаемые изобретением
Как описано выше, в соответствии со стандартами HEVC, не установлено какое-либо ограничение для векторов движения при прогнозировании между кадрами. В этом случае декодируемое изображение для разных элементов мозаичного изображения в различное время можно использовать, как опорное изображение. В соответствии с этим не разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.
Настоящая технология была разработана с учетом этих ситуаций и представлена, как технология, позволяющая выполнять кодирование и декодирование в направлении времени, независимо для каждого элемента мозаичного изображения.
Решение задачи
В соответствии с первым аспектом настоящей технологии, обеспечивается устройство декодирования, включающее в себя: модуль компенсации движения для генерирования изображения прогнозирования путем выполнения для каждого из элементов мозаичного изображения компенсации движения опорного изображения в пределах размещенных в том же месте элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении текущего изображения на элементы мозаичного изображения и декодировании; и модуль декодирования для декодирования кодированных данных с использованием изображения прогнозирования, генерируемого модулем компенсации движения.
Способ декодирования по первому аспекту настоящей технологии соответствует устройству декодирования, в соответствии с первым аспектом настоящей технологии.
В соответствии с первым аспектом настоящей технологии, изображение прогнозирования генерируется путем выполнения, для каждого из элементов мозаичного изображения, компенсации движения опорного изображения в пределах выделенных в том же месте элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, обозначающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении изображения текущего изображения на элементы мозаичного изображения и декодировании. Кодированные данные декодируют с использованием изображения прогнозирования.
В соответствии со вторым аспектом настоящей технологии, обеспечивается устройство кодирования, включающее в себя: модуль компенсации движения для генерирования изображения прогнозирования, посредством компенсации движения опорного изображения, во время, отличающее от времени целевого текущего изображения кодирования, на основе вектора движения, обнаруживаемого в пределах элемента мозаичного изображения, когда изображение текущего изображения разделяют на элементы мозаичного изображения и кодируют; модуль кодирования для кодирования текущего изображения и генерирования кодированных данных с использованием изображения прогнозирования, генерируемого модулем компенсации движения; модуль установки для установки информации о возможности разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из модулей элементов мозаичного изображения; и модуль передачи для передачи кодированных данных, генерируемых модулем кодирования, и информации о возможности разделения элемента мозаичного изображения, установленной модулем установки.
Способ кодирования, в соответствии со вторым аспектом настоящей технологии, соответствует устройству кодирования, в соответствии со вторым аспектом настоящей технологии.
В соответствии со вторым аспектом настоящей технологии, изображение прогнозирования генерируют, выполняя компенсацию движения опорного изображения, во время, отличное от времени целевого текущего изображения кодирования на основе вектора движения, обнаруживаемого в элементе мозаичного изображения, когда изображение текущего изображения разделяют на элементы мозаичного изображения и кодируют. Кодированные данные генерируют путем кодирования текущего изображения, используя изображение прогнозирования. Устанавливают информацию о возможности разделения элемента мозаичного изображения, указывающую, что декодирование разрешено для каждого модуля элементов мозаичного изображения. Передают кодированные данные и информацию о возможности разделения элемента мозаичного изображения.
Кроме того, устройство декодирования, в соответствии с первым аспектом, и устройство кодирования, в соответствии со вторым аспектом, могут быть реализованы в результате выполнения компьютером программы.
Кроме того, программа, исполняемая компьютером для реализации устройства декодирования по первому аспекту и устройства кодирования по второму аспекту, может быть предусмотрена путем передачи программы через среду передачи данных или путем записи программы на носителе записи.
Кроме того, устройство декодирования по первому аспекту и устройство кодирования по второму аспекту могут представлять собой отдельные устройства или могут находиться внутри блоков, составляющих одно устройство.
Эффекты изобретения
В соответствии с первым аспектом настоящей технологии, обеспечивается возможность независимого декодирования в направлении времени для каждого элемента мозаичного изображения.
Кроме того, в соответствии со вторым аспектом настоящей технологии, обеспечивается возможность независимого кодирования в направлении времени для каждого элемента мозаичного изображения.
Краткое описание чертежей
На фиг. 1 показана схема, описывающая опорное изображение для обычного прогнозирования между кадрами.
На фиг. 2 показана блок-схема, представляющая пример состава обычного устройства декодирования.
На фиг. 3 показана блок-схема, представляющая пример состава устройства кодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.
На фиг. 4 показана блок-схема, представляющая пример состава модуля кодирования по фиг. 3.
На фиг. 5 показана схема, описывающая элементы мозаичного изображения.
На фиг. 6 показана схема, описывающая ограничение, устанавливаемое, когда обнаруживают вектор движения.
На фиг. 7 показана схема, описывающая опорное изображение для прогнозирования между кадрами.
На фиг. 8 показана схема, представляющая пример синтаксиса SP.
На фиг. 9 показана схема, представляющая пример синтаксиса SP.
На фиг. 10 показана схема, представляющая пример синтаксиса PPS.
На фиг. 11 показана схема, представляющая пример синтаксиса VUI.
На фиг. 12 показана блок-схема последовательности операций, описывающая процесс генерирования кодированного потока.
На фиг. 13 показана блок-схема последовательности операций, описывающая процесс кодирования по фиг. 12.
На фиг. 14 показана блок-схема последовательности операций, описывающая процесс кодирования по фиг. 12.
На фиг. 15 показана блок-схема, представляющая пример состава устройства декодирования, в котором применяют настоящую технологию, в соответствии с первым вариантом осуществления.
На фиг. 16 показана блок-схема, представляющая пример состава модуля декодирования по фиг. 15 в соответствии с первым вариантом осуществления.
На фиг. 17 показана схема, в общем описывающая обработку, выполняемую устройством декодирования по фиг. 15.
На фиг. 18 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством декодирования по фиг. 15.
На фиг. 19 показана блок-схема последовательности операций, описывающая обработку декодирования по фиг. 16.
На фиг. 20 показана схема, представляющая пример изображения цели кодирования устройства кодирования, в котором применяют настоящую технологию, в соответствии со вторым вариантом осуществления.
На фиг. 21 показана блок-схема, представляющая пример состава устройства декодирования для 2D изображения, в соответствии с вариантом осуществления.
На фиг. 22 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством декодирования по фиг. 21.
На фиг. 23 показана блок-схема, представляющая пример состава системы телевизионной конференции, в которой применяют настоящую технологию, в соответствии с вариантом осуществления.
На фиг. 24 показана схема, представляющая другой пример синтаксиса VUI.
На фиг. 25 показана схема, представляющая пример системы кодирования изображения, снятого из множества точек обзора.
На фиг. 26 показана схема, представляющая пример состава устройства кодирования изображения, снятого из множества точек обзора, в котором применяют настоящую технологию.
На фиг. 27 показана схема, представляющая пример состава устройства кодирования изображения, снятого из множества точек обзора, в котором применяют настоящую технологию.
На фиг. 28 показана схема, представляющая пример иерархической системы кодирования изображения.
На фиг. 29 показана схема, описывающая пример пространственного масштабируемого кодирования.
На фиг. 30 показана схема, описывающая пример временного масштабируемого кодирования.
На фиг. 31 показана схема, описывающая кодирование, масштабируемое по отношению сигнал-шум.
На фиг. 32 показана схема, представляющая пример состава устройства иерархического кодирования изображения, в котором применяют настоящую технологию.
На фиг. 33 показана схема, представляющая пример состава устройства иерархического кодирования изображения, в котором применяют настоящую технологию.
На фиг. 34 показана блок-схема, представляющая пример состава аппаратных средств компьютера.
На фиг. 35 показана схема, представляющая пример общей структуры телевизионного приемника, в котором применяют настоящую технологию.
На фиг. 36 показана схема, представляющая пример общей структуры сотового телефона, в котором применяют настоящую технологию.
На фиг. 37 показана схема, представляющая пример общей структуры устройства записи и воспроизведения, в котором применяют настоящую технологию.
На фиг. 38 показана схема, представляющая пример общей структуры устройства формирования изображения, в котором применяют настоящую технологию.
На фиг. 39 показана блок-схема, представляющая пример применения масштабируемого кодирования.
На фиг. 40 показана блок-схема, представляющая другой пример применения масштабируемого кодирования.
На фиг. 41 показана блок-схема, представляющая дополнительный пример применения масштабируемого кодирования.
Осуществление изобретения
Первый вариант осуществления
Пример состава устройства кодирования в первом варианте осуществления
На фиг. 3 показана блок-схема, представляющая пример состава устройства кодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления.
Устройство 50 кодирования по фиг. 3 состоит из модуля 51 A/D преобразования, буфера 52 изменения компоновки экрана, модуля 53 разделения, модулей 54-1 - 54-N кодирования, модуля 55 установки и модуля 56 передачи. Устройство 50 кодирования выполняет, для каждого элемента мозаичного изображения, кодирование со сжатием изображения в каждом модуле из кадров, вводимых, как входные сигналы в системе, соответствующей системе HEVC.
Более конкретно, модуль 51 A/D преобразования устройства 50 кодирования выполняет A/D преобразование изображений в каждом модуле из кадров, вводимых, как входные сигналы, и выводит преобразованные изображения в буфер 52 изменения компоновки экрана, и обеспечивает возможность сохранения изображения в буфере 52 изменения компоновки экрана. Буфер 52 изменения компоновки экрана изменяет компоновку сохраненных изображений в соответствующих модулях кадров, размещенных в порядке отображения в таких положениях, что изображения размещаются в порядке кодирования, в соответствии со структурой групп изображений (GOP), и подает изображения с измененной компоновкой в модуль 53 разделения.
Модуль 53 разделения разделяет каждое из изображений, подаваемое из буфера 52 изменения компоновки экрана, на N элементов мозаичного изображения, на основе информации, указывающей положения разделения элементов мозаичного изображения и числа N разделения, установленного для каждого модуля последовательностей в соответствии с операцией не показанного модуля ввода, операции с которым выполняет пользователь (ниже называется информацией разделения элемента мозаичного изображения). Модуль 53 разделения подает изображения из N элементов мозаичного изображения в модули 54-1 - 54-N кодирования, соответственно, как целевые изображения кодирования.
Модули 54-1 - 54-N кодирования выполняют кодирование со сжатием изображений соответствующих элементов мозаичного изображения, подаваемых модулем 53 разделения, независимо в направлении времени, с использованием системы, соответствующей системе HEVC. Модули 54-1 - 54-N кодирования подают кодированные данные соответствующих элементов мозаичного изображения, полученные в результате кодирования со сжатием, в модуль 55 установки. Далее, в следующем описании, модули 54-1 - 54-N кодирования совместно называются модулями 54 кодирования, когда не требуется делать конкретное различие между модулями 54-1 - 54-N кодирования.
Модуль 55 установки синтезирует кодированные данные соответствующих элементов мозаичного изображения, подаваемых модулями 54-1 - 54-N кодирования, на основе информации о разделении мозаичного изображения. Кроме того, модуль 55 установки устанавливает набор параметров последовательности (SPS), набор параметров изображения (PPS), информацию о возможности использования видеоданных (VUI), набор параметров адаптации (APS) и т.п., на основе информации разделения элемента мозаичного изображения. Модуль 55 установки генерирует кодированный поток, путем добавления SPS, PPS, VUI, APS и т.п. к синтезированным кодированным данным, и подает сгенерированный кодированный поток в модуль 56 передачи.
Модуль 56 передачи передает кодированный поток, подаваемый модулем 55 установки, в устройство декодирования, описанное ниже.
Пример состава модуля кодирования
На фиг. 4 показана блок-схема, представляющая пример состава модуля 54 кодирования по фиг. 3.
Модуль 54 кодирования по фиг. 4 состоит из модуля 71 вычисления, модуля 72 ортогонального преобразования, модуль 73 квантования, модуль 74 кодирования без потерь, буфера 75 сохранения, модуля 76 обратного квантования, модуля 77 обратного ортогонального преобразования, модуля 78 суммирования, фильтра 79 удаления блочности, DPB 80, переключателя 81, модуля 82 прогнозирования внутри кадра, модуля 83 прогнозирования между кадрами, модуля 84 выбора изображения прогнозирования и модуля 85 управления скоростью.
Изображение соответствующего элемента мозаичного изображения вводят из модуля 53 разделения на фиг. 3 в модуль 54 кодирования, как кодированное целевое изображение, и подают в модуль 71 расчета, модуль 82 прогнозирования внутри кадра и модуль 83 прогнозирования между кадрами.
Модуль 71 расчета функционирует, как модуль кодирования, и рассчитывает разность между изображением прогнозирования, подаваемым модулем 84 выбора изображения прогнозирования, и целевым изображением кодирования, для кодирования целевого изображения кодирования. Более конкретно, модуль 71 расчета вычитает изображение прогнозирования из целевого изображения кодирования для кодирования целевого изображения кодирования. Модуль 71 расчета выводит изображение, полученное в результате расчета, в модуль 72 ортогонального преобразования, как остаточную информацию. Когда изображение прогнозирования не подают в модуль 84 выбора изображения прогнозирования, модуль 71 расчета выводит целевое изображение кодирования в модуль 72 ортогонального преобразования в том виде, как оно есть, как остаточную информацию.
Модуль 72 ортогонального преобразования выполняет ортогональное преобразование остаточной информации, принятой из модуля 71 расчета, и подает коэффициенты, полученные в результате ортогонального преобразования, в модуль 73 квантования.
Модуль 73 квантования квантует коэффициенты, подаваемые модулем 72 ортогонального преобразования. Квантованные коэффициенты вводят в модуль 74 кодирования без потерь.
Модуль 74 кодирования без потерь получает информацию, обозначающую оптимальный режим прогнозирования внутри кадра (ниже называется информацией режима прогнозирования внутри кадра), из модуля 82 прогнозирования внутри кадра. Вместо этого, модуль 74 кодирования без потерь получает информацию, обозначающую оптимальный режим прогнозирования между кадрами (ниже называется информацией режима прогнозирования между кадрами), вектор движения, информацию для установления опорного изображения и т.п. из модуля 83 прогнозирования между кадрами.
Модуль 74 кодирования без потерь выполняет кодирование без потерь квантованных коэффициентов, подаваемых модулем 73 квантования, такое как кодирование кодового слова с переменной длиной (такое как адаптивное к контексту кодирование с переменной длиной (CAVLC) и арифметическое кодирование (такое как CABAC).
Кроме того, модуль 74 кодирования без потерь выполняет дифференциальное кодирование информации в режиме прогнозирования внутри кадра, подаваемой модулем 82 прогнозирования внутри кадра, используя информацию режима прогнозирования внутри кадра блока прогнозирования, установленного рядом с блоком прогнозирования информации режима прогнозирования внутри кадра, и содержащегося в том же элементе мозаичного изображения. Вместо этого, модуль 74 кодирования без потерь функционирует, как модуль генерирования вектора движения, который прогнозирует вектор движения, подаваемый модулем 83 прогнозирования между кадрами, в пределах диапазона заданного ограничения, основанного на передовом прогнозировании вектора движения (AMVP) и т.п., и генерирует разность между соответствующим вектором прогнозирования и фактическим вектором движения, как информацию вектора движения.
Более конкретно, в соответствии с AMVP и т.п., векторы движения блока прогнозирования, расположенные рядом с блоком прогнозирования информации вектора движения в пространственном направлении, расположенный в том же месте блок (подробности описаны ниже), блок прогнозирования, расположенный рядом с расположенным в том же месте блоком в пространственном направлении, и т.п., определены как векторы прогнозирования.
Кроме того, в соответствии с этим описанием, состояние "расположенный в том же месте" относится к состоянию с таким расположением, что обеспечивается одинаковая взаимосвязь положений (расположенных в одном и том же месте) для разных изображений (кадров, полей). В соответствии с этим, "расположенный в том же месте" относится к блоку, имеющему ту же взаимосвязь положения (расположенные в том же месте) в разных изображениях (кадрах, полях). Кроме того, пиксели, размещенные в том же месте, представляют собой пиксели, имеющие одинаковую взаимосвязь положений (расположенные в том же месте) в разных изображениях (фреймах, полях).
Кроме того, в соответствии с данным описанием, условие расположения рядом (соседнее расположение) относится к такому условию, в котором получают взаимосвязь положений, позволяющую ссылаться на текущий кадр (фрейм, поле). Предпочтительно, чтобы такая взаимосвязь положений соответствовала положению непосредственно перед или непосредственно после, с учетом времени. Однако такое взаимоотношение не требуется, если могут быть предложены эффекты настоящей технологии. Кроме того, состояние расположения рядом в направлении времени и состояние расположения рядом в пространственном направлении совместно называются состоянием расположения рядом, когда, в частности, не требуется представлять различие между ними. Состояние расположения рядом в направлении времени представляет взаимосвязь положений, позволяющую делать ссылку в направлении времени. Состояние расположения рядом в пространственном направлении представляет взаимосвязь положений, позволяющих делать ссылку в пределах одного кадра.
Модуль 74 кодирования без потерь ограничивает блок прогнозирования вектора движения, определенного, как вектор прогнозирования, до блоков прогнозирования в пределах того же элемента мозаичного изображения, что и элемент мозаичного изображения блока прогнозирования информации вектора движения. В этом случае не требуется, чтобы устройство декодирования ссылалось на векторы движения других элементов мозаичного изображения. В соответствии с этим, кодированные данные после кодирования с прогнозированием между кадрами могут быть декодированы независимо в направлении времени для каждого элемента мозаичного изображения.
Кроме того, информация объединения может использоваться, как информация вектора движения. Информация объединения представляет собой информацию, обозначающую, следует или нет объединить блок прогнозирования вектора движения с другим блоком прогнозирования, и с каким блоком прогнозирования вектор движения следует объединить во время объединения. Возможные блоки прогнозирования для объединения включают себя, например, блок прогнозирования, расположенный рядом с блоком прогнозирования вектора движения в пространственном направлении, так называемый блок, находящийся в этом же месте, и блок прогнозирования, расположенный рядом с блоком, находящимся в этом же месте в пространственном направлении.
В этом случае, однако, возможные блоки прогнозирования для объединения ограничены блоками прогнозирования в пределах того же элемента мозаичного изображения, что и элемент мозаичного изображения блока прогнозирования информации вектора движения. В соответствии с этим, устройство декодирования не требуется для ссылки на векторы движения других элементов мозаичного изображения; поэтому, кодированные данные после кодирования с прогнозированием между кадрами, могут быть независимо декодированы в направлении времени для каждого элемента мозаичного изображения.
Модуль 74 кодирования без потерь определяет, идентичен ли вектор движения, подаваемый модулем 83 прогнозирования между кадрами, какому-либо из векторов движения возможных блоков прогнозирования для объединения, когда информацию объединения используют, как информацию вектора движения. При определении, как идентичные, модуль 74 кодирования без потерь генерирует, как информацию вектора движения, информацию объединения, обозначающую, что объединение выполняется, когда возможный блок прогнозирования для объединения определен, как блок, идентичный по вектору. С другой стороны, когда определение не дает идентичный результат, модуль 74 кодирования без потерь генерирует, как информацию вектора движения, информацию об объединении, обозначающую, что объединение не было выполнено.
Модуль 74 кодирования без потерь выполняет кодирование без потерь информации о режиме прогнозирования внутри кадра после дифференциального кодирования, или информации о режиме прогнозирования между кадрами, информации вектора движения, информации для установления опорного изображения и т.п., и определяет информацию после кодирования без потерь, как кодированную информацию о кодировании. Модуль 74 кодирования без потерь подает коэффициенты и кодированную информацию после кодирования без потерь в буфер 75 сохранения, как кодированные данные, и обеспечивает возможность сохранения кодированных данных в буфере 75 сохранения. Кроме того, кодированная информация может быть определена, как информация заголовка для коэффициентов после кодирования без потерь.
Кодированные данные, подаваемые модулем 74 кодирования без потерь, временно содержатся в буфере 75 сохранения. Кроме того, буфер 75 сохранения передает сохраненные кодированные данные в модуль 55 установки на фиг. 3.
Кроме того, квантованные коэффициенты, выводимые из модуля 73 квантования, также вводят в модуль 76 обратного квантования, и выполняют обратное квантование и передают в модуль 77 обратного ортогонального преобразования.
Модуль 77 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, передаваемых модулем 76 обратного квантования, и передает остаточную информацию, полученную, как результат обратного ортогонального преобразования, в модуль 78 суммирования.
Модуль 78 суммирования добавляет остаточную информацию, как изображение - цель декодирования, переданную модулем 77 обратного ортогонального преобразования, к изображению прогнозирования, передаваемому модулем 84 выбора изображения прогнозирования, и получает декодированное изображение, локально декодируемое для каждого модуля элементов мозаичного изображения. Когда изображение прогнозирования не передают в модуль 84 выбора изображения прогнозирования, модуль 78 суммирования определяет остаточную информацию, предоставленную модулем 77 обратного ортогонального преобразования, как декодируемое изображение, локально декодируемое для каждого модуля из элементов мозаичного изображения. Модуль 78 суммирования передает декодированное изображение, локально декодируемое для каждого модуля элементов мозаичного изображения, в фильтр 79 удаления блочности, и подает декодированное изображение в DPB 80, и обеспечивает возможность сохранять декодированное изображение в DPB 80.
Фильтр 79 удаления блочности выполняет, для каждого модуля элементов мозаичного изображения, фильтрацию декодированного изображения, декодированного локально для каждого модуля элементов мозаичного изображения, подаваемого модулем 78 суммирования. Фильтрация включает в себя фильтрацию по удалению блоков для удаления искажения блоков, обработку адаптивного смещения выборки (SАО) для подавления вызова, и обработку адаптивного петлевого фильтра (ALF), используя группировку, класс и т.п. Фильтр 79 удаления блочности передает декодированное изображение для каждого модуля элементов мозаичного изображения, полученного, как результат фильтрации, в DPB 80, и и обеспечивает возможность сохранять декодированное изображение в DPB 80. Декодированное изображение для каждого модуля элементов мозаичного изображения, сохраненного в DPB 80, выводят через переключатель 81 в модуль 82 прогнозирования внутри кадра или в модуль 83 прогнозирования между кадрами, как опорное изображение.
Модуль 82 прогнозирования внутри кадра выполняет прогнозирование внутри кадра всех возможных режимов прогнозирования внутри кадра, используя опорное изображение, считанное из DPB 80 через переключатель 81 и не фильтрованное фильтром 79 удаления блочности.
Кроме того, модуль 82 прогнозирования внутри кадра рассчитывает значения функции стоимости (подробно описана ниже) для всех возможных режимов прогнозирования внутри кадра на основе целевого изображения кодирования, подаваемого модулем 53 разделения, и изображения прогнозирования, генерируемого, как результат прогнозирования внутри кадра. Затем модуль 82 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, где значение функции стоимости становится минимальным, как оптимальный режим прогнозирования внутри кадра, и подает изображение прогнозирования, генерируемое в оптимальном режиме прогнозирования внутри кадра, и соответствующие значения функции стоимости в модуль 84 выбора изображения прогнозирования. После уведомления модулем 84 выбора изображения прогнозирования о выборе изображения прогнозирования, генерируемого в оптимальном режиме прогнозирования внутри кадра, модуль 82 прогнозирования внутри кадра передает информацию о режиме прогнозирования внутри кадра в модуль 74 кодирования без потерь.
Здесь следует отметить, что значение функции стоимости также называется стоимостью скорости создания информации (RD), и его рассчитывают на основе либо режима высокой сложности, или режима низкой сложности, определенных в объединенной модели (JM), например, в качестве эталона программного обеспечения в системе H. 264/AVC.
Более конкретно, когда выбирают режим высокой сложности, в качестве способа расчета значения функции стоимости, этапы для кодирования без потерь временно выполняют для всех возможных режимов прогнозирования. Затем значение функции стоимости, представленное следующим уравнением (1), рассчитывают для каждого режима прогнозирования.
Уравнение 1
Стоимость (Режим) = D = D + λ·R …(1)
D представляет собой разность (искажение) между оригинальным изображением и декодированным изображением. R представляет собой генерируемое количество кодов вплоть до коэффициентов ортогонального преобразования. λ представляет собой множитель Лагранжа, заданный, как функция параметра QP квантования.
С другой стороны, когда выбирают режим низкой сложности, как способ расчета для значения функции стоимости, генерирование декодированного изображения и расчет битов заголовка информации, обозначающей режимы прогнозирования и т.п., выполняют для всех возможных режимов прогнозирования. Затем рассчитывают функцию стоимости, представленную следующим уравнением (2), для каждого режима прогнозирования.
Уравнение 2
Стоимость (Режим) = D + QPtoQuant (QP)·Header_Bit …(2)
D представляет собой разность (искажение) между оригинальным изображением и декодированным изображением. Header_Bit представляет собой биты заголовка для режима прогнозирования. QPtoQuant представляет собой функцию, заданную, как функция квантования параметра QP.
В режиме низкой сложности требуется только генерирование декодированных изображений для всех режимов прогнозирования, и необходимость выполнять кодирование без потерь устраняется. В соответствии с этим, уменьшается количество расчетов.
Модуль 83 прогнозирования между кадрами состоит из модуля 83A детектирования движения и модуля 83B компенсации движения и выполняет обработку прогнозирования и компенсации движения для всех возможных режимов прогнозирования между кадрами. Более конкретно, модуль 83A детектирования движения выполняет прогнозирование движения в элементе мозаичного изображения для целевого изображения кодирования, используя целевое изображение кодирования, подаваемое модулем 53 разделения, и опорное изображение, считанное из DPB 80 через переключатель 81, расположенное в момент времени, отличный от времени соответствующего целевого изображения кодирования, и отфильтрованное фильтром 79 удаления блочности.
Более конкретно, модуль 83A детектирования движения детектирует векторы движения для всех возможных режимов прогнозирования между кадрами, используя целевое изображение кодирования и отфильтрованное опорное изображение, содержащееся в том же элементе мозаичного изображения, что и элемент мозаичного изображения целевого изображения кодирования, и расположенное в кадре, отличном от кадра целевого изображения кодирования. Модуль 83B компенсации движения выполняет прогнозирование между кадрами путем выполнения компенсации движения опорного изображения, отфильтрованного фильтром 79 удаления блочности по векторам движения, детектируемым модулем 83A детектирования движения, и генерирует прогнозируемое изображение.
В это время модуль 83 прогнозирования между кадрами рассчитывает значения функции стоимости для всех возможных режимов прогнозирования между кадрами на основе целевого изображения кодирования и изображения прогнозирования, и определяет режим прогнозирования между кадрами, где значение функции стоимости становится минимальным, как оптимальный режим измерения между кадрами. Затем модуль 83 прогнозирования между кадрами подает значение функции стоимости для оптимального режима прогнозирования между кадрами, и соответствующее изображение прогнозирования в модуль 84 выбора изображения прогнозирования. Кроме того, модуль 83 прогнозирования между кадрами выводит информацию режима прогнозирования между кадрами, соответствующий вектор движения, информацию для установления опорного изображения и т.п. в модуль 74 кодирования без потерь, когда его уведомляют из модуля 84 выбора изображения прогнозирования о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования между кадрами.
Модуль 84 выбора изображения прогнозирования выбирает режим прогнозирования, где соответствующее значение функции стоимости меньше, из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами, на основе значений функции стоимости, подаваемых модулем 82 прогнозирования внутри кадра и модулем 83 прогнозирования между кадрами, и определяет выбранный режим прогнозирования, как оптимальный режим прогнозирования. Затем, модуль 84 выбора изображения прогнозирования подает изображение прогнозирования в оптимальном режиме прогнозирования в модуль 71 расчета и в модуль 78 суммирования. Кроме того, модуль 84 выбора изображения прогнозирования уведомляет модуль 82 прогнозирования внутри кадра или модуль 83 прогнозирования между кадрами о выборе изображения прогнозирования в оптимальном режиме прогнозирования.
Модуль 85 управления скоростью управляет скоростью операции квантования модуля 73 квантования на основе кодированных данных, сохраняемых в буфере 75 сохранения таким образом, что не возникает ни переполнение, ни потеря значимости.
Описание элемента мозаичного изображения
На фиг. 5 показана схема, представляющая элементы мозаичного изображения.
Как показано на фиг. 5, одно изображение (фрейм) может быть разделено на множество элементов мозаичного изображения и кодировано. В соответствии с примером на фиг. 5 одно изображение разделяют на четыре элемента мозаичного изображения. Каждый элемент мозаичного изображения получает ID элемента мозаичного изображения, начиная с 0, в порядке растровой развертки. Далее, наибольшие модули кодирования (LCU) в пределах элемента мозаичного изображения кодируют в порядке растровой развертки.
Кроме того, одно изображение также может быть разделено на множество срезов. Границы между соответствующими элементами мозаичного изображения могут быть либо идентичными, или могут отличаться от границ между соответствующими срезами. В соответствии с примером на фиг. 5, каждый из элемента №0 мозаичного изображения, имеющий ID элемента мозаичного изображения, равный 0, и элемента №1 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, состоит из двух срезов. Кроме того, каждый из элемента №3 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 3, и элемента №4 мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 4, составляют один срез. В соответствии с этим вариантом осуществления, однако, множество элементов мозаичного изображения не составляют один срез. Другими словами, элемент мозаичного изображения содержит, по меньшей мере, один срез. В соответствии с этим, кодированные данные каждого элемента мозаичного изображения всегда содержат заголовок среза; поэтому, кодирование может быть выполнено для каждого модуля из элементов мозаичного изображения. Кроме того, когда один элемент мозаичного изображения содержит множество срезов, срезы в пределах соответствующего элемента мозаичного изображения кодируют в порядке растровой развертки.
Описание ограничения обнаружения вектора движения
На фиг. 6 показана схема, представляющая ограничение установки, когда модуль 83A обнаружения движения на фиг. 4 обнаруживает векторы движения.
Как показано на фиг. 6, модуль 83A обнаружения движения выполняет прогнозирование движения в пределах элемента мозаичного изображения путем установки такого ограничения, что возможные опорные изображения CU в пределах элемента №i мозаичного изображения, имеющего ID элемента мозаичного изображения, равный 1, представляют собой только изображения в пределах элемента №i мозаичного изображения. В соответствии с этим, вектор mv движения (mvx, mvy) (модуль: пиксель), удовлетворяет следующему уравнению (3).
Уравнение 3
x + mvx ≥ minX_in_TileID_i
y + mvy ≥ minY_in_TileID_i
x + w + mvx < maxX_in_TileID_i
y + h + mvy < maxY_in_TileID_i … (3)
Далее, в уравнении (3), (x, y) представляют собой координаты модуля пикселя, соответствующего пикселю, расположенному в верхнем левом углу CU, и каждый из w и h представляет собой длину модуля пикселя в направлении горизонтальной ширины и направлении вертикальной ширины, соответственно. Кроме того, minX_in_TileID_i соответствует значению координаты x пикселя в верхнем левом углу элемента №i мозаичного изображения, и minY_in_TileID_i соответствует значению координаты y пикселя в верхнем левом углу для элемента №i мозаичного изображения. Кроме того, maxX_in_TileID_i соответствует значению координаты x пикселя в нижнем правом углу элемента №i мозаичного изображения, и maxY_in_TileID_i соответствует значению координаты y пикселя в нижнем правом углу элемента №i мозаичного изображения.
Ограничение, установленное во время обнаружения вектора движения, как описано выше, устраняет необходимость использования декодированного изображения другого элемента мозаичного изображения, как показано на фиг. 7, в качестве опорного изображения, в направлении времени, во время прогнозирования между кадрами.
Более конкретно, как показано на фиг. 7, прогнозирование между кадрами CU в пределах элемента №1 мозаичного изображения кадра №t выполняют, используя изображения в пределах элемента №1 мозаичного изображения кадра №t-1, в качестве опорного изображения, когда каждый из кадра №t, имеющего POC, равный t, и кадра №t-1, имеющего POC t-1, разделяют на четыре элемента мозаичного изображения. Аналогично элементу №1 мозаичного изображения, прогнозирование между кадрами выполняют для соответствующих CU для элементов №2 - №4 мозаичного изображения, используя изображения в пределах их собственного элемента №2, элемента №3 и элемента №4 мозаичного изображения, в качестве опорных изображений. В соответствии с этим, разрешено независимое прогнозирование между кадрами в направлении времени для каждого элемента мозаичного изображения.
(Пример SP) На фиг. 8 и 9 показан пример синтаксиса SP, установленного модулем 55 установки на фиг. 3.
Как показано в строках 19 - 28 на фиг. 9, информация разделения элемента мозаичного изображения для каждого модуля последовательностей установлена для SPS. Информация разделения элемента мозаичного изображения включает в себя num_tile_columns_minus1, представленный в строке 20, num_tile_rows_minus1, представленный в строке 21, column_width [i], представленный в строке 25, row_height [i], представленный в строке 27, и т.п.
Num_tile_columns_minus1 представляет количество элементов мозаичного изображения в направлении столбца (горизонтальном направлении), в то время как num_tile_rows_minus1 представляет количество элементов мозаичного изображения в направлении ряда (вертикальное направление). Кроме того, column_width [i] представляет длину модуля пикселя в горизонтальном направлении каждого элемента мозаичного изображения, в то время как row_height [i] представляет длину модуля пикселя в вертикальном направлении каждого элемента мозаичного изображения.
Кроме того, как показано в строке 29 на фиг. 9, информация фильтра удаления блочности (информация фильтра) (loop_filter_across_tiles_enabled_flag), представляющая, выполняется ли фильтрация по нескольким элементам мозаичного изображения в опорном изображении, установлена для каждого модуля последовательностей в SPS. Фильтр 79 удаления блочности устройства 50 кодирования выполняет фильтрацию для каждого модуля элементов мозаичного изображения; поэтому, модуль 55 установки устанавливает информацию фильтра удаления блочности, как false (0).
Пример PPS
На фиг. 10 показан пример синтаксиса PPS, установленного модулем 55 установки на фиг. 3.
Как показано в строке 21 на фиг. 10, tile_info_present_flag, представляющий, управляется ли информация разделения элемента мозаичного изображения для каждого модуля изображений, установлен для PPS. Модуль 55 установки устанавливает tile_info_present_flag, как false (0). В этом случае, поддерживается фиксированный способ разделения элемента мозаичного изображения, в пределах последовательности для устройства 50 кодирования, и он не меняется между изображениями.
Кроме того, когда информация разделения элемента мозаичного изображения для каждого модуля изображений, как описано ниже, идентична между изображениями в пределах одной и той же последовательности, tile_info_present_flag может быть установлен в значение true (1).
Кроме того, как показано в cтроках 23 - 33, информация разделения элемента мозаичного изображения для каждого модуля изображений установлена для PPS, аналогично информации разделения элемента мозаичного изображения для каждого модуля последовательностей на фиг. 9. Кроме того, как показано в строке 35, информация фильтра удаления блочности для каждого модуля изображений установлена для PPS.
Пример VUI
На фиг. 11 показан пример синтаксиса VUI, установленного модулем 55 установки на фиг. 3.
Как показано в строке 4 на фиг. 11, информация о возможности разделения элемента мозаичного изображения (tile_splittable_flag) установлена для VUI. Информация о возможности разделения элемента мозаичного изображения представляет собой информацию, обозначающую, разрешено ли декодирование для каждого модуля элементов мозаичного изображения. Устройство 50 кодирования позволяет выполнять декодирование для каждого модуля элементов мозаичного изображения, выполняя прогнозирование движения в пределах элемента мозаичного изображения и устанавливая различные ограничения. Таким образом, модуль 55 установки устанавливает информацию о возможности разделения элемента мозаичного изображения в значение true (1).
Когда bitstream_restriction_flag в строке 1 равен 0, сторона декодирования распознает, что декодирование не разрешено для каждого элемента мозаичного изображения на основе учета того, что информация о возможности разделения элемента мозаичного изображения установлена в значение false (0).
Описание процесса, выполняемого устройством кодирования
На фиг. 12 показана блок-схема последовательности операций, описывающая процесс генерирования кодированного потока, выполняемый устройством 50 кодирования на фиг. 3.
На этапе S11, на фиг. 12, модуль 51 A/D преобразования выполняет A/D преобразование изображения каждого модуля кадров, вводимых, как входные сигналы, и выводит преобразованное изображение в буфер 52 изменения компоновки экрана, и обеспечивает возможность сохранения изображение в буфере 52 изменения компоновки экрана.
На этапе S12, буфер 52 изменения компоновки экрана изменяет компоновку экрана сохраненных изображений соответствующих кадров, расположенных в порядке отображения, в таких положениях, что изображения располагаются в порядке кодирования, в соответствии со структурой GOP, и подает изображения с измененной компоновкой в модуль 53 разделения.
На этапе S13, модуль 53 разделения разделяет каждое из изображений, подаваемых буфером 52 изменения компоновки экрана на N элементов мозаичного изображения на основе информации о разделении мозаичного изображения. Модуль 53 разделения подает каждое из изображений, содержащихся в N элементах мозаичного изображения, в соответствующие модули 54-1 - 54-N кодирования, как изображение модуля кодирования.
На этапе S14 модули 54 кодирования выполняют обработку кодирования, в результате которой происходит кодирование со сжатием изображений соответствующих элементов мозаичного изображения, подаваемых модулем 53 разделения, независимо от направления времени, используя систему, соответствующую системе HEVC. Детали процесса кодирования будут описаны со ссылкой на фиг. 13 и 14, описанные ниже.
На этапе S15, модуль 55 установки синтезирует кодированные данные соответствующих элементов мозаичного изображения, подаваемых модулями 54-1 - 54-N кодирования на основе информации о разделении мозаичного изображения.
На этапе S16, модуль 55 установки устанавливает информацию о возможности разделения элемента мозаичного изображения VUI в 1. На этапе S17, модуль 55 установки устанавливает информацию фильтра удаления блочности SPS и PPS в 0. Кроме того, модуль 55 установки устанавливает информацию для SPS, PPS, VUI, APS и т.п., кроме информации о возможности разделения элемента мозаичного изображения на основе информации о разделении мозаичного изображения и т.п.
В это время модуль 55 установки устанавливает sao_repeat_row_flag и sao_merge_up_flag, содержащиеся в APS и обозначающие, выполняется ли обработка SАО, используя параметры обработки SАО соседнего изображения на значение false (0), когда соседнее изображение представляет собой изображение другого элемента мозаичного изображения. Кроме того, модуль 55 устанавливает alf_repeat_row_flag и alf_merge_up_flag, содержащиеся в APS, и обозначающие, выполняется ли обработка АLF, используя параметры обработки АLF соседнего изображения, в значение false (0), когда соседнее изображение представляет собой изображение другого элемента мозаичного изображения. В этом случае, параметры для обработки SАО и параметры для АLF не используют совместно между разными элементами мозаичного изображения. В соответствии с этим, выполняют фильтрацию для каждого модуля элементов мозаичного изображения для кодирования.
Как описано выше, sao_repeat_row_flag, sao_merge_up_flag, alf_repeat_row_flag и alf_merge_up_flag устанавливают в значение false (0), когда соседнее изображение представляет собой изображение другого элемента мозаичного изображения. В соответствии с этим, эти наборы информации рассматриваются, как информация для совместного использования параметра, представляющая, что параметр при фильтрации не используется совместно между элементами мозаичного изображения.
На этапе S18, модуль 55 установки генерирует кодированный поток путем суммирования SPS, PPS, VUI, APS и т.п. c синтезированными кодированными данными, и подает кодированный поток в модуль 56 передачи.
На этапе S19, модуль 56 передачи передает кодированный поток, подаваемый модулем 55 установки, в устройство декодирования, описанное ниже, и прекращает обработку.
Описание обработки, выполняемой устройством кодирования
На фиг. 13 и 14 показаны блок-схемы последовательности операций, представляющие этап S14 обработки кодирования на фиг. 12. Такая обработка кодирования выполняется, например, для каждого модуля CU.
На этапе S30, модуль 82 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра для выполнения прогнозирования внутри кадра для всех возможных режимов прогнозирования внутри кадра, используя изображение, сохраненное в DPB 80, расположенное в том же элементе мозаичного изображения, что и элемент мозаичного изображения целевого изображения кодирования, и не фильтрованное, как опорное изображение. В это время модуль 82 прогнозирования внутри кадра рассчитывает значения функции стоимости для всех возможных режимов прогнозирования внутри кадра на основе целевого изображения кодирования, подаваемого модулем 53 разделения, и изображения прогнозирования, генерируемого в результате прогнозирования внутри кадра. Затем модуль 82 прогнозирования внутри кадра определяет режим прогнозирования внутри кадра, где значение функции стоимости становится минимальным, как оптимальный режим прогнозирования внутри кадра, и подает изображение прогнозирования, генерируемое в режиме оптимального прогнозирования внутри кадра и соответствующие значении функции стоимости в модуль 84 выбора изображения прогнозирования.
Кроме того, модуль 83 прогнозирования между кадрами выполняет прогнозирование движения и компенсацию движения в пределах элемента мозаичного изображения для всех возможных режимов прогнозирования между кадрами, используя фильтрованное изображение, сохраненное в DPB 80, и расположенное в том же элементе мозаичного изображения, что и элемент мозаичного изображения целевого изображения кодирования, в качестве опорного изображения. В это время модуль 83 прогнозирования между кадрами рассчитывает значения функции стоимости для всех возможных режимов прогнозирования между кадрами на основе целевого изображения кодирования, подаваемого модулем 53 разделения, и изображения прогнозирования, генерируемого в результате компенсации движения. Затем модуль 83 прогнозирования между кадрами определяет режим прогнозирования между кадрами, где значения функции стоимости становятся минимальными, как оптимальный режим прогнозирования между кадрами, и подает сгенерированное изображение прогнозирования в оптимальном режиме прогнозирования между кадрами и соответствующие значения функции стоимости в модуль 84 выбора изображения прогнозирования.
На этапе S31, модуль 84 выбора изображения прогнозирования выбирает режим прогнозирования, где значение функции стоимости становится минимальным, из оптимального режима прогнозирования внутри кадра и оптимального режима прогнозирования между кадрами на основе значений функции стоимости, подаваемых модулем 82 прогнозирования внутри кадра и модулем 83 прогнозирования между кадрами, используя обработку на этапе S30, и определяет выбранный режим прогнозирования, как оптимальный режим прогнозирования. Затем модуль 84 выбора изображения прогнозирования подает изображение прогнозирования в оптимальном режиме прогнозирования в модуль 71 расчета и в модуль 78 суммирования.
На этапе S32, модуль 84 выбора изображения прогнозирования определяет, представляет ли собой оптимальный режим прогнозирования оптимальным режимом прогнозирования между кадрами или нет. Когда определяют, что оптимальный режим прогнозирования представляет собой оптимальный режим прогнозирования между кадрами, на этапе S32, модуль 84 выбора изображения прогнозирования уведомляет модуль 83 прогнозирования между кадрами о выборе изображения прогнозирования, сгенерированного в оптимальном режиме прогнозирования между кадрами. В результате, модуль 83 прогнозирования между кадрами выводит информацию о режиме прогнозирования между кадрами, соответствующий вектор движения и информацию для установления опорного изображения в модуль 74 кодирования без потерь.
Затем, на этапе S33, модуль 74 кодирования без потерь выполняет прогнозирование вектора движения, подаваемого модулем 83 прогнозирования между кадрами, на основе AMVP и т.п., и генерирует разницу между вектором прогнозирования и вектором фактического движения, как информацию вектора движения. В это время блок прогнозирования вектора движения, определенного, как вектор прогнозирования в AMVP, ограничен любым из блоков прогнозирования в пределах одного и того же элемента мозаичного изображения, как элемент мозаичного изображения блока прогнозирования информации вектора движения.
На этапе S34, модуль 74 кодирования без потерь выполняет кодирование без потерь информации режима прогнозирования между кадрами, информации для установления опорного изображения и информации вектора движения, передаваемых модулем 83 прогнозирования между кадрами, и определяет информацию, полученную, таким образом, как кодированную информацию. Затем обработка переходит на этап S36.
С другой стороны, когда определяют, что оптимальный режим прогнозирования не является оптимальным режимом прогнозирования между кадрами на этапе S32, другими словами, когда оптимальный режим прогнозирования представляет собой оптимальный режим прогнозирования внутри кадра, модуль 84 выбора изображения прогнозирования уведомляет модуль 82 прогнозирования внутри кадра о выборе изображения прогнозирования, генерируемого в оптимальном режиме прогнозирования внутри кадра. В результате, модуль 82 прогнозирования внутри кадра подает информацию о режиме прогнозирования внутри кадра в модуль 74 кодирования без потерь.
Затем, на этапе S35, модуль 74 кодирования без потерь выполняет дифференциальное кодирование информации режима прогнозирования внутри кадра, подаваемой модулем 82 прогнозирования внутри кадра, и дополнительно выполняет кодирование без потерь полученной в результате информации для предоставления полученной таким образом информации в качестве кодированной информации. Затем обработка переходит на этап S36.
На этапе S36 модуль 71 расчета вычитает изображение прогнозирования, поданное модулем 84 выбора изображения прогнозирования, из целевого изображения кодирования, поданного модулем 53 разделения. Модуль 71 расчета выводит изображение, полученное в результате вычитания, в модуль 72 ортогонального преобразования, в качестве остаточной информации.
На этапе S37, модуль 72 ортогонального преобразования выполняет ортогональное преобразование для остаточной информации, принятой из модуля 71 расчета, и подает коэффициенты, полученные в результате ортогонального преобразования, в модуль 73 квантования.
На этапе S38, модуль 73 квантования квантует коэффициенты, подаваемые модулем 72 ортогонального преобразования. Квантованные коэффициенты вводят в модуль 74 кодирования без потерь и в модуль 76 обратного квантования.
На этапе S39, модуль 74 кодирования без потерь выполняет кодирование без потерь коэффициентов, квантованных и переданных модулем 73 квантования. Модуль 74 кодирования без потерь генерирует кодированные данные из информации, полученной в результате кодирования без потерь, и кодированной информации, генерируемой путем обработки на этапе S34 или S35.
На этапе S40 на фиг. 14, модуль 74 кодирования без потерь передает кодированные данные в буфер 75 сохранения и обеспечивает возможность сохранения этих данных в буфере 75 сохранения.
На этапе S41, буфер 75 сохранения выводит сохраненные кодированные данные в модуль 55 установки (фиг. 3).
На этапе S42, модуль 76 обратного квантования выполняет обратное квантование для квантованных коэффициентов, переданных модулем 73 квантования.
На этапе S43, модуль 77 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, подаваемых модулем 76 обратного квантования, и подает остаточную информацию, полученную в результате обратного ортогонального преобразования, в модуль 78 суммирования.
На этапе S44, модуль 78 суммирования суммирует остаточную информацию, подаваемую модулем 77 обратного ортогонального преобразования, с изображением прогнозирования, подаваемым модулем 84 выбора изображения прогнозирования, для получения декодированного изображения, локально декодируемого для каждого модуля из элементов мозаичного изображения. Модуль 78 суммирования подает полученное декодированное изображение для каждого модуля элементов мозаичного изображения в фильтр 79 удаления блочности и подает декодированное изображение в DPB 80.
На этапе S45 фильтр 79 удаления блочности выполняет, для каждого модуля из элементов мозаичного изображения, фильтрацию декодированного изображения, локально декодированного для каждого модуля элементов мозаичного изображения и поданного модулем 78 суммирования. Фильтр 79 удаления блочности передает декодированное изображение, полученное в результате фильтрации, для каждого модуля элементов мозаичного изображения, в DPB 80.
На этапе S46, в DPB 80 сохраняются декодированные изображения для каждого модуля элементов мозаичного изображения перед и после фильтрации. Более конкретно, в DPB 80 сохраняются декодированные изображения для каждого модуля элементов мозаичного изображения, подаваемых модулем 78 суммирования, и декодированные изображения для каждого модуля элементов мозаичного изображения, подаваемых фильтром 79 удаления блочности. Декодированные изображения для каждого модуля элементов мозаичного изображения, сохраненные в DPB 80, выводят через переключатель 81 в модуль 82 прогнозирования внутри кадра или в модуль 83 прогнозирования между кадрами, как опорные изображения. Затем обработка возвращается на этап S14, на фиг. 12, и переходит на этап S15.
Кроме того, в соответствии с обработкой кодирования на фиг. 13 и на фиг. 14, как прогнозирование внутри кадра, так и прогнозирование движения и компенсацию движения всегда выполняют для упрощения описания. Однако, в практических случаях, может быть выполнена только одна из этих обработок, в зависимости от типов изображения или других условий.
Как описано здесь, устройство 50 кодирования выполняет прогнозирование движения в пределах элемента мозаичного изображения и генерирует вектор движения, используя целевое изображение кодирования и опорное изображение, во время, отличное от времени целевого изображения кодирования. В соответствии с этим, разрешено независимое кодирование в направлении времени для каждого элемента мозаичного изображения.
Кроме того, в то время как в устройстве 50 кодирования предусмотрено N модулей 54 кодирования, для изображений кодирования, соответствующих элементам мозаичного изображения, в устройстве 50 кодирования может быть предусмотрен только один модуль кодирования. В этом случае модуль кодирования имеет DPB, содержащий декодированные изображения для каждого элемента мозаичного изображения, и кодирует изображения для каждого элемента мозаичного изображения в порядке номера ID элемента мозаичного изображения в направлении от меньшего номера до большего номера, то есть в порядке растровой развертки.
Пример состава устройства декодирования в первом варианте осуществления
На фиг. 15 показана блок-схема, представляющая пример состава устройства декодирования, в котором применяется настоящая технология, в соответствии с первым вариантом осуществления. Такое устройство декодирования декодирует кодированный поток, передаваемый из устройства 50 кодирования по фиг. 3.
Устройство 90 декодирования, показанное на фиг. 15, состоит из модуля 91 приема, модуля 92 выделения, модуля 93 разделения, модулей 94-1 - 94-N декодирования, буфера 9 изменения компоновки экрана и модуля 96 D/A преобразования.
Модуль 91 приема устройства 90 декодирования принимает кодированный поток, передаваемый из устройства 50 кодирования, и подает этот кодированный поток в модуль 92 выделения.
Модуль 92 выделения выделяет SPS, PPS, VUI, APS, кодированные данные и т.п. из кодированного потока, и подает выделение в модуль 93 разделения. Кроме того, модуль 92 выделения подает информацию разделения элемента мозаичного изображения, содержащуюся в SPS и PPS, в буфер 95 изменения компоновки экрана.
Модуль 93 разделения разделяет кодированные данные на модули в виде элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, содержащейся в VUI, подаваемой модулем 92 выделения, и информации разделения элемента мозаичного изображения, содержащейся в SPS и в PPS. Модуль 93 разделения передает кодированные данные N элементов мозаичного изображения, полученные в результате разделения, в модули 94-1 - 94-N декодирования для каждого элемента мозаичного изображения. Кроме того, модуль 93 разделения подает SPS, PPS, APS и т.п., передаваемые модулем 92 выделения, в модуль 94-N декодирования.
Каждый из модулей 94-1 - 94-N декодирования декодирует кодированные данные соответствующего элемента мозаичного изображения, передаваемые модулем 93 разделения, с помощью системы, соответствующей системе HEVC, обращаясь к SPS, PPS, APS и т.п., подаваемых модулем 93 разделения. Другими словами, модули 94-1 - 94-N декодирования декодируют кодированные данные независимо в направлении времени для каждого элемента мозаичного изображения, обращаясь к SPS, PPS, APS и т.п. Модули 94-1 - 94-N декодирования подают декодированные изображения, полученные в результате декодирования, в буфер 95 изменения компоновки экрана. В следующем описании, модули 94-1 - 94-N декодирования совместно называются модулями 94 декодирования, когда различие между ними, в частности, не требуется.
Буфер 95 изменения компоновки экрана синтезирует декодированные изображения соответствующих элементов мозаичного изображения, подаваемые модулями 94-1 - 94-N декодирования, путем размещения соответствующих декодированных изображений и сохранения соответствующих декодированных изображений для каждого модуля кадров на основе информации разделения элемента мозаичного изображения, подаваемого модулем 92 выделения. Буфер 95 изменения компоновки экрана изменяет компоновку сохраненных изображений для каждого модуля кадров, расположенных в порядке кодирования в таких положениях, что соответствующие изображения размещаются в порядке первоначального отображения, и передает изображения с измененной компоновкой в модуль 96 D/ A преобразования.
Модуль 96 D/A преобразования выполняет D/A преобразование изображений для каждого модуля кадров, подаваемого с помощью буфера 95 изменения компоновки экрана, в и подает преобразованное изображение, как выходные сигналы.
Пример состава модуля декодирования
На фиг. 16 показана блок-схема, представляющая пример состава модулей 94 декодирования на фиг. 15, в соответствии с первым вариантом осуществления.
Модуль 94 декодирования на фиг. 16 состоит из буфера 101 сохранения, модуля 102 декодирования без потерь, модуля 103 обратного квантования, модуля 104 обратного ортогонального преобразования, модуля 105 суммирования, фильтра 106 удаления блочности, DPB 107, переключателя 108, модуля 109 прогнозирования внутри кадра, модуля 110 компенсации движения и переключателя 111.
Буфер 101 сохранения модуля 94 декодирования принимает кодированные данные соответствующего элемента мозаичного изображения, передаваемые модулем 93 разделения на фиг. 15, и сохраняет принятые данные. Буфер 101 сохранения подает сохраненные кодированные данные в модуль 102 декодирования без потерь.
Модуль 102 декодирования без потерь выполняет декодирование без потерь, такое как декодирование с переменной длиной кодового слова, и арифметическое декодирование, для кодированных данных, принятых из буфера 101 сохранения, для получения квантованных коэффициентов и кодированной информации. Модуль 102 декодирования без потерь подает квантованные коэффициенты в модуль 103 обратного квантования.
Кроме того, модуль 102 декодирования без потерь получает информацию о режиме прогнозирования внутри кадра текущего блока прогнозирования, путем суммирования информации о режиме прогнозирования внутри кадра после дифференциального кодирования, как кодированную информацию с информацией о режиме прогнозирования внутри кадра блока прогнозирования, расположенного рядом с текущим блоком прогнозирования в пределах одного и того же элемента мозаичного изображения. Модуль 102 декодирования без потерь подает информацию о текущем режиме прогнозирования внутри кадра и т.п. в модуль 109 прогнозирования внутри кадра.
Кроме того, модуль 102 декодирования без потерь функционирует, как модуль генерирования вектора движения и рассчитывает вектор движения текущего блока прогнозирования путем суммирования информации о векторе движения, как кодированной информации, с вектором движения другого блока прогнозирования в пределах того же элемента мозаичного изображения. Модуль 102 декодирования без потерь подает в полученный вектор движения информацию для установления опорного изображения, как кодированную информацию, информацию о режиме прогнозирования между кадрами и т.п. в модуль 110 компенсации движения. Кроме того, модуль 102 декодирования без потерь подает информацию о режиме прогнозирования внутри кадра или информацию о режиме прогнозирования между кадрами в переключатель 111.
Модуль 103 обратного квантования, модуль 104 обратного ортогонального преобразования, модуль 105 суммирования, фильтр 106 удаления блочности, DPB 107, переключатель 108, модуль 109 прогнозирования внутри кадра и модуль 110 компенсации движения выполняют операции, аналогичные соответствующим операциям модуля 76 обратного квантования, модуля 77 обратного ортогонального преобразования, модуля 78 суммирования, фильтра 79 удаления блочности, DPB 80, переключателя 81, модуля 82 прогнозирования внутри кадра и модуля 83 компенсации движения по фиг. 4. Изображения декодируют, используя эти операции.
Более конкретно, модуль 103 обратного квантования выполняет обратное квантование квантованных коэффициентов, передаваемых модулем 102 декодирования без потерь, и подает полученные коэффициенты, как результат обратного квантования, в модуль 104 обратного ортогонального преобразования.
Модуль 104 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, принятых из модуля 103 обратного квантования, и подает остаточную информацию, полученную в результате обратного ортогонального преобразования, в модуль 105 суммирования.
Модуль 105 суммирования функционирует, как модуль декодирования, и суммирует остаточную информацию, как целевое изображение декодирования, подаваемое модулем 104 обратного ортогонального преобразования, с изображением прогнозирования, подаваемым переключателем 111, для декодирования. Модуль 105 суммирования подает декодированное изображение, полученное в результате декодирования, в фильтр 106 удаления блочности, и подает декодированное изображение в DPB 107. Когда изображение прогнозирования не подают от переключателя 111, модуль 105 суммирования подает изображение, соответствующее остаточной информации, подаваемой модулем 104 обратного ортогонального преобразования, в фильтр 106 удаления блочности, как декодированное изображение, и подает изображение DPB 107 и обеспечивает возможность сохранения изображения в DPB 107.
Фильтр 106 удаления блочности удаляет искажение блока путем выполнения фильтрации декодированного изображения, подаваемого модулем 105 суммирования, для каждого модуля элементов мозаичного изображения, на основе информации фильтра удаления блочности, содержащейся в SPS и PPS, подаваемой модулем 93 разделения. Фильтр 106 удаления блочности подает декодированное изображение, полученное в результате фильтрации, в DPB 107, и обеспечивает возможность для DPB 107 сохранять изображение, и подает изображение в буфер 95 изменения компоновки экрана на фиг. 15. Декодированное изображение соответствующего элемента мозаичного изображения, сохраненное в DPB 107, считывают через переключатель 108, как опорное изображение, и подают в модуль 110 компенсации движения или в модуль 109 прогнозирования внутри кадра.
Модуль 109 прогнозирования внутри кадра выполняет прогнозирование внутри кадра в оптимальном режиме прогнозирования внутри кадра, обозначенном информацией режима прогнозирования внутри кадра, используя опорное изображение, считываемое из DPB 107 через переключатель 108, не фильтрованное через фильтр 106 удаления блочности, и содержащееся в том же элементе мозаичного изображения, что и элемент мозаичного изображения целевого изображения декодирования. Модуль 109 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в результате прогнозирования внутри кадра, в переключатель 111.
Модуль 110 компенсации движения считывает из DPB 107 через переключатель 108 опорное изображение, содержащееся в другом кадре, отличном от кадра целевого изображения декодирования, содержащееся в том же элементе мозаичного изображения, что и элемент мозаичного изображения для целевого изображения декодирования, и отфильтрованное фильтром 106 удаления блочности на основе информации для установления опорного изображения, подаваемой модулем 102 декодирования без потерь. Другими словами, модуль 110 компенсации движения считывает опорное изображение, содержащееся в находящемся в том же месте элементе мозаичного изображения, из DPB 107 на основе информации, для установления опорного изображения.
Модуль 110 компенсации движения выполняет прогнозирование между кадрами в оптимальном режиме прогнозирования между кадрами, выполняя компенсацию движения опорного изображения в оптимальном режиме прогнозирования между кадрами, обозначенном по информации режима прогнозирования между кадрами, на основе вектора движения. Модуль 110 компенсации движения подает изображение прогнозирования, генерируемое, как результат прогнозирования между кадрами, в переключатель 111.
Переключатель 111 подает изображение прогнозирования, подаваемое модулем 109 прогнозирования внутри кадра, в модуль 105 суммирования, когда информацию о режиме прогнозирования внутри кадра подают из модуля 102 декодирования без потерь. С другой стороны, когда информацию режима прогнозирования между кадрами подают из модуля 102 декодирования без потерь, переключатель 111 подает изображение прогнозирования, подаваемое модулем 110 компенсации движения, в модуль 105 суммирования.
Описание схемы обработки, выполняемой устройством декодирования
На фиг. 17 показана схема, описывающая в общих чертах обработку, выполняемую устройством 90 декодирования на фиг. 15.
Как показано на фиг. 17, кодированный поток, разделенный на N элементов мозаичного изображения и кодированный, подают в устройство 90 декодирования из устройства 50 кодирования. Кроме того, информацию о возможности разделения элемента мозаичного изображения устанавливают, как true (1), для этого кодированного потока.
Устройство 90 декодирования принимает кодированный поток, выделяет SPS, PPS, VUI, APS, кодированные данные и т.п. из кодированного потока и разделяет кодированные данные на модули из элементов мозаичного изображения, на основе информации о разделении мозаичного изображения, содержащейся в SPS и PPS. Кодированные данные для каждого элемента мозаичного изображения, полученного в результате разделения, подают в соответствующие модули 94-1 - 94-N декодирования для каждого элемента мозаичного изображения. Более конкретно, каждые из кодированных данных элемента №1 мозаичного изображения, элемента №2 мозаичного изображения и вплоть до элемента №N мозаичного изображения подают в соответствующий модуль 94-1 декодирования, модуль 94-2 декодирования и вплоть до модуля 94-N декодирования.
Модуль 94-1 декодирования состоит из модуля 121-1 обработки декодирования и DPB 122-1. Модуль 121-1 обработки декодирования состоит из буфера 101 сохранения, модуля 102 декодирования без потерь, модуля 103 обратного квантования, модуля 104 обратного ортогонального преобразования, модуля 105 суммирования, фильтра 106 удаления блочности, DPB 107, переключателя 108, модуля 109 прогнозирования внутри кадра, модуля 110 компенсации движения и переключателя 111 (фиг. 16) модуля 94-1 декодирования. Модуль 121-1 обработки декодирования декодирует кодированные данные в элементе №1 мозаичного изображения.
Кроме того, DPB 122-1 состоит из DPB 107 модуля 94-1 декодирования, и содержит декодированное изображение элемента № 1 мозаичного изображения, полученного в результате декодирования модулем 121-1 обработки декодирования. Декодированное изображение элемента №1мозаичного изображения, сохраненного в DPB 122-1, используется для декодирования в модуле 121-1 обработки декодирования.
Каждый из модулей 94-2 - 94-N декодирования имеет состав, аналогичный структуре модуля 94-1 декодирования. В соответствии с этим, декодированные изображения для элемента №2 мозаичного изображения - элемента №N мозаичного изображения сохраняют в DPB 122-2 - 122-N, соответственно.
Кроме того, декодированные изображения элемента №1 мозаичного изображения - элемента №N мозаичного изображения, получаемые с помощью модуля 121-1 - 121-N обработки декодирования, также подают в буфер 95 изменения компоновки экрана, синтезированный по компоновке на основе информации о разделении мозаичного изображения, и сохраняют для каждого модуля из кадров.
Как описано выше, кодированные данные для каждого элемента мозаичного изображения декодируют независимо, используя изображение декодирования соответствующего элемента мозаичного изображения. В соответствии с этим, не требуется, чтобы в устройстве 90 декодирования содержался общий DPB декодирования, в котором содержатся декодированные изображения для всех элементов мозаичного изображения.
Описание обработки, выполняемой устройством декодирования
На фиг. 18 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством 90 декодирования на фиг. 15.
На этапе S61, на фиг. 18, модуль 91 приема устройства 90 декодирования принимает кодированный поток, переданный из устройства 50 кодирования, и передает кодированный поток в модуль 92 выделения.
На этапе S62, модуль 92 выделения выделяет SPS, PPS, VUI, APS, кодированные данные и т.п. из кодированного потока, и подает выделение в модуль 93 разделения. Кроме того, модуль 92 выделения подает информацию разделения элемента мозаичного изображения, содержащуюся в SPS и PPS, в буфер 95 изменения компоновки экрана.
На этапе S63, модуль 93 разделения определяет, имеет ли информация о возможности разделения элемента мозаичного изображения, содержащаяся в VUI, подаваемая модулем 92 выделения, значение true (1) или нет. Когда информация о возможности разделения элемента мозаичного изображения не имеет значения true (1), то есть, когда информация о возможности разделения элемента мозаичного изображения имеет значение false (0), модуль 93 разделения прекращает обработку.
С другой стороны, когда определяют, что информация о возможности разделения элемента мозаичного изображения имеет значение true (1) на этапе S63, модуль 93 разделения разделяет кодированные данные на модули из элементов мозаичного изображения на основе информации разделения элемента мозаичного изображения, содержащейся в модуле 93 разделения, SPS и PPS на этапе S64.
На этапе S65, модуль 93 разделения подает кодированные данные соответствующих разделенных N элементов мозаичного изображения в соответствующие модули 94-1 - 94-N декодирования. Кроме того, модуль 93 разделения подает SPS, PPS и т.п., передаваемые модулем 92 выделения в модуль 94-N декодирования.
На этапе S66, модули 94 декодирования выполняют декодирование кодированных данных соответствующих элементов мозаичного изображения, подаваемых модулем 93 разделения, с помощью системы, соответствующей системе HEVC, обращаясь при этом к SPS, PPS и т.п., подаваемыми модулем 93 разделения. Детали такого процесса декодирования будут описаны со ссылкой на фиг. 19, которая описана ниже.
На этапе S67, буфер 95 изменения компоновки экрана синтезирует декодированные изображения соответствующих элементов мозаичного изображения, подаваемых модулями 94-1 - 94-N декодирования, путем размещения соответствующих изображений декодирования и сохранения соответствующих изображений декодирования для каждого модуля кадров на основе информации разделения элемента мозаичного изображения, подаваемой модулем 92 выделения.
На этапе S68, буфер 95 изменения компоновки экрана изменяет компоновку сохраненных изображений для каждого модуля из кадров, расположенных в порядке кодирования в таких положениях, что соответствующие изображения размещают в порядке исходного отображения, и подает изображения с измененной компоновкой в модуль 96 D/A преобразования.
На этапе S69, модуль 96 D/A преобразования выполняет D/A преобразование изображений для каждого модуля кадров, подаваемого буфером 95 изменения компоновки экрана, и выводит преобразованные изображения, как выходные сигналы.
На фиг. 19 показана блок-схема последовательности операций, описывающая процесс декодирования, выполняемый на этапе S66, на фиг. 18.
На этапе S100, на фиг. 19, буфер 101 сохранения модуля 94 декодирования принимает кодированные данные соответствующего элемента мозаичного изображения из модуля 93 разделения на фиг. 15, и сохраняет эти данные. Буфер 101 сохранения передает кодированные данные, сохраненные в нем, в модуль 102 декодирования без потерь. Далее, выполняется следующая обработка с S101 по этап S110, например, для каждого модуля CU.
На этапе S101, модуль 102 декодирования без потерь выполняет декодирование без потерь кодированных данных, принятых из буфера 101 сохранения, и получает квантованные коэффициенты и кодированную информацию. Модуль 102 декодирования без потерь подает квантованные коэффициенты в модуль 103 обратного квантования.
Кроме того, модуль 102 декодирования без потерь получает информацию о режиме прогнозирования внутри кадра текущего блока прогнозирования, путем суммирования информации о режиме прогнозирования внутри кадра после дифференциального кодирования, как кодированную информацию, с информацией о режиме прогнозирования внутри кадра блока прогнозирования, расположенного рядом с текущим блоком, в пределах того же элемента мозаичного изображения. Модуль 102 декодирования без потерь подает информацию о режиме прогнозирования внутри кадра текущего блока прогнозирования в модуль 109 прогнозирования внутри кадра и переключатель 111.
На этапе S102, модуль 102 декодирования без потерь генерирует вектор движения текущего блока прогнозирования, путем добавления информации вектора движения, как кодированной информации, к вектору движения другого блока прогнозирования в пределах того же элемента мозаичного изображения. Модуль 102 декодирования без потерь подает сгенерированный вектор движения, информацию для установления опорного изображения, как кодированную информацию, информацию о режиме прогнозирования между кадрами и т.п. в модуль 110 компенсации движения. Кроме того, модуль 102 декодирования без потерь подает информацию о режиме прогнозирования между кадрами в переключатель 111.
На этапе S103, модуль 103 обратного квантования выполняет обратное квантование квантованных коэффициентов, принятых из модуля 102 декодирования без потерь, и подает коэффициенты, полученные в результате обратного квантования, в модуль 104 обратного ортогонального преобразования.
На этапе S104, модуль 110 компенсации движения определяет, поступает ли информация о режиме прогнозирования между кадрами из модуля 102 декодирования без потерь. Когда определяют, что информация о режиме прогнозирования между кадрами поступает на этапе S104, обработка переходит на этап S105.
На этапе S105, модуль 110 компенсации движения выполняет компенсацию движения, используя опорное изображение, отфильтрованное фильтром 106 удаления блочности, и содержащееся в том же самом элементе мозаичного изображения, что и элемент мозаичного изображения декодированного целевого изображения на основе вектора движения, информацию о режиме прогнозирования между кадрами и информацию для установления опорного изображения, поступающего из модуля 102 декодирования без потерь. Модуль 110 компенсации движения подает изображение прогнозирования, генерируемое в результате компенсации движения, в модуль 105 суммирования через переключатель 111, и выполняет переход обработки на этап S107.
С другой стороны, когда определяют, что информация о режиме прогнозирования между кадрами не поступает на этап S104, то есть, когда информация о режиме прогнозирования внутри кадра поступает в модуль 109 прогнозирования внутри кадра, обработка переходит на этап S106.
На этапе S106, модуль 109 прогнозирования внутри кадра выполняет обработку прогнозирования внутри кадра, которая выполняет прогнозирование внутри кадра, в соответствии с информацией о режиме прогнозирования внутри кадра, используя опорное изображение, считанное из DPB 107, через переключатель 108, без фильтрации фильтра 106 удаления блочности, и размещенное в том же элементе мозаичного изображения, что и элемент мозаичного изображения целевого изображения декодирования. Модуль 109 прогнозирования внутри кадра подает изображение прогнозирования, генерируемое в результате прогнозирования внутри кадра, в модуль 105 суммирования, через переключатель 111, и затем обработка переходит на этап S107.
На этапе S107, модуль 104 обратного ортогонального преобразования выполняет обратное ортогональное преобразование коэффициентов, принятых из модуля 103 обратного квантования, и подает остаточную информацию, полученную в результате обратного ортогонального преобразования, в модуль 105 суммирования.
На этапе S108, модуль 105 суммирования выполняет декодирование, путем добавления остаточной информации, подаваемой модулем 104 обратного ортогонального преобразования, в качестве целевого изображения декодирования, к изображению прогнозирования, подаваемому из переключателя 111. Модуль 105 суммирования подает декодированное изображение, полученное в результате декодирования, в фильтр 106 удаления блочности, и также подает декодированное изображение в DPB 107.
На этапе S109, фильтр 106 удаления блочности выполняет фильтрацию декодированного изображения, подаваемого модулем 105 суммирования, в каждый модуль элементов мозаичного изображения, на основе информации фильтра удаления блочности, содержащейся в SPS и PPS, передаваемой модулем 93 разделения. Фильтр 106 удаления блочности подает декодированное изображение после фильтрации в DPB 107 и в буфер 95 изменения компоновки экрана (фиг. 15).
На этапе S110, DPB 107 сохраняет декодированное изображение перед фильтрацией, подаваемое модулем 105 суммирования, и декодированное изображение после фильтрации, подаваемое фильтром 106 удаления блочности. Декодированное изображение, сохраняемое в DPB 107, поступает в модуль 110 компенсации движения или в модуль 109 прогнозирования внутри кадра через переключатель 108. Затем обработка возвращается на этап S66, показанный на фиг. 18, и переходит к этапу S67.
Как описано выше, устройство декодирования 90 выполняет компенсацию движения для каждого элемента мозаичного изображения, используя опорное изображение, расположенное в момент времени, отличный от момента времени целевого изображения декодирования и содержащееся в пределах того же элемента мозаичного изображения, что и элемент мозаичного изображения целевого изображения декодирования, на основе информации о возможности разделении мозаичного изображения и информации вектора движения. В соответствии с этим, разрешается независимое декодирование в направлении времени для каждого элемента мозаичного изображения. В результате, устройство 90 декодирования может с высокой скоростью воспроизводить, например, только заданный элемент мозаичного изображения среди N элементов мозаичного изображения.
Дополнительно, в то время как в устройстве 90 декодирования предусмотрено N модулей 94 декодирования для декодирования изображения соответствующих элементов мозаичного изображения, в устройстве 90 декодирования может быть предусмотрен один модуль 94 декодирования. В этом случае, модуль декодирования включает в себя DPB, содержащий декодированные изображений для каждого элемента мозаичного изображения, и выполняет декодирование изображений для каждого элемента мозаичного изображения в порядке номера ID элемента мозаичного изображения в направлении от меньшего номера к большему номеру, то есть, в порядке растровой развертки.
Второй вариант осуществления
Пример целевого изображения кодирования
На фиг. 20 показана схема, представляющая пример целевого изображения кодирования устройства кодирования, в котором применяется настоящая технология, в соответствии со вторым вариантом осуществления.
Как показано на фиг. 20, целевое изображение кодирования представляет собой изображение, сформированное, как 3D изображение, для 3D отображения, содержащего изображение для левого глаза (ниже называемое L изображением), расположенное на левой половине экрана, и изображение для правого глаза (ниже называемое R изображением), расположенное на правой половине экрана.
Кроме того, как показано на фиг. 20, целевое изображение кодирования разделяют на элементы мозаичного изображения, формируя разные элементы мозаичного изображения для изображения L и для изображения R. В результате, элемент мозаичного изображения для изображения L становится элементом №0 мозаичного изображения, и элемент мозаичного изображения для изображения R становится элементом №1 мозаичного изображения.
Кроме того, изображение L и изображение R 3D изображения могут быть размещены в верхней половине и нижней половине экрана, соответственно.
Пример состава устройства кодирования во втором варианте осуществления
Устройство кодирования, в котором применяется существующая технология, в соответствии со вторым вариантом осуществления, представляет собой устройство 50 кодирования, котором N установлено равным 2. Такое устройство кодирования независимо кодирует изображение L и изображение R и передает кодированный поток данных, полученный в результате кодирования.
Пример состава устройства декодирования для 2D изображения в варианте осуществления
На фиг. 21 показана блок-схема, представляющая пример состава устройства декодирования для 2D изображения, в соответствии с вариантом осуществления. Такое устройство декодирует кодированный поток 3D изображения, кодированный устройством кодирования, в соответствии со вторым вариантом осуществления.
В составе, показанном на фиг. 21, составляющим элементам, аналогичным составляющим элементам на фиг. 15, присвоены одинаковые номера ссылочных позиций. Одинаковое пояснение исключено там, где это соответствует.
Состав устройства 140 декодирования на фиг. 21 отличается от состава на фиг. 15 тем, что модуль 141 выделения элемента мозаичного изображения предусмотрен вместо модуля 93 разделения, и буфер 142 изменения компоновки экрана предусмотрен вместо буфера 95 изменения компоновки экрана.
Модуль 141 выделения элемента мозаичного изображения разделяет кодированные данные на модули элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, содержащейся в VUI, подаваемом из модуля 92 выделения, и информации о разделении мозаичного изображения, содержащейся в SPS и PPS. Модуль 141 выделения элемента мозаичного изображения подает кодированные данные об элементе №1 мозаичного изображения, включенного в кодированные данные из двух элементов мозаичного изображения, в модуль 94-1 декодирования. Здесь предполагается, что выполняется 2D отображение, используя изображения L. Однако для выполнения 2D отображения можно использовать изображение R. В этом случае в модуль 94-1 декодирования будут поданы не кодированные данные элемента №1 мозаичного изображения, а кодированные данные элемента № 2 мозаичного изображения.
В буфере 142 изменения компоновки экрана содержится декодированное изображение элемента №1 мозаичного изображения, подаваемого модулем 94-1 декодирования для каждого модуля кадров. Буфер 142 изменения компоновки экрана изменяет компоновку сохраненных изображений для каждого модуля кадров, расположенных в порядке для кодирования в таких положениях, что изображения размещаются в порядке оригинального отображения, и подает изображения с измененной компоновкой в модуль 96 D/A преобразования.
Описание обработки, выполняемой устройством декодирования для 2D изображения
На фиг. 22 показана блок-схема последовательности операций, описывающая обработку декодирования кодированного потока, выполняемую устройством 140 декодирования на фиг. 21.
Обработка, выполняемая с этапа S131 по этап S134 на фиг. 22, аналогична соответствующей обработке, выполняемой с этапа S61 по этап S64 на фиг. 18; поэтому, пояснение этих этапов исключено.
На этапе S135, модуль 141 выделения элемента мозаичного изображения подает кодированные данные элемента №1 мозаичного изображения, включенные в кодированные данные разделения двух элементов мозаичного изображения, в модуль 94-1 декодирования. На этапе S136, модуль 94-1 декодирования выполняет декодирование по фиг. 19.
На этапе S137, декодированное изображение элемента №1 мозаичного изображения, подаваемое модулем 94-1 декодирования сохраняют для каждого модуля кадров.
Обработка на этапах S138 и S139 аналогична обработке на этапах S68 и S69, на фиг. 18; поэтому, пояснение этих этапов исключено.
Как описано выше, когда кодированный поток представляет собой кодированный поток, разделенный на элементы мозаичного изображения, для обеспечения разных изображения L и изображения R, и кодированный, обеспечивается возможность независимого кодирования изображения L и изображения R. В соответствии с этим, устройство 140 декодирования может декодировать только кодированные данные изображения L элемента №1 мозаичного изображения, включенного в целевые кодированные данные. В результате, реализуется высокоскоростное воспроизведение 2D изображения. Кроме того, устройство 140 декодирования обеспечивает возможность уменьшения емкости DPB и уменьшение потребляемой энергии во время декодирования.
Аналогично, когда кодированный поток представляет собой кодированный поток, разделенный на элементы мозаичного изображения на центральную область в пределах экрана и на другую область, обеспечивается возможность высокоскоростного воспроизведения только центральной области, которой уделяется внимание.
Пример состава устройства декодирования для 3D изображения
Устройство декодирования для 3D изображения, показанное на фиг. 20, предназначенное для декодирования кодированного потока 3D изображения, представляет собой устройство декодирования, которое устанавливает N, равным 2 на фиг. 15. Такое устройство декодирования 3D изображения получает 3D изображение путем независимого декодирования кодированных данных для изображения L и для изображения R, и синтеза декодированных данных. Кроме того, устройство декодирования для 3D изображения может иметь состав для вывода изображения L и изображения R, полученных в результате декодирования, без синтеза этих изображений.
Кроме того, в то время, как каждое изображение L и изображение R разделяют на один элемент мозаичного изображения в соответствии со вторым вариантом осуществления, каждое из этих изображений может быть разделено на множество элементов мозаичного изображения. Другими словами, элементы мозаичного изображения могут быть разделены любыми способами, если только элементы мозаичного изображения будут разделены таким образом, чтобы они не содержали одновременно изображение L и изображение R.
Третий вариант осуществления
Пример состава системы для телевизионной конференции
На фиг. 23 показана блок-схема, представляющая пример состава системы для телевизионной конференции, в которой применяется настоящая технология, в соответствии с вариантом осуществления.
Система 160 для телевизионной конференции, показанная на фиг. 23, состоит из устройств 161-1 - 161-M формирования изображения, устройств 162-1 - 162-M кодирования, устройства 163 синтеза, устройств 164-1 - 161-M декодирования, и устройств 165-1 - 161-M отображения. Система 160 телевизионной конференции снимает изображения М участников конференции, расположенных в разных местах, кодирует и синтезирует изображения, и декодирует, и отображает эти изображения.
Более конкретно, устройства 161-1 – 161-M формирования изображения системы 160 для телевизионной конференции расположены в соответствующих местах положения М участников конференции. Устройства 161-1 - 161-M формирования изображения снимают изображения соответствующих участников конференции и передают эти изображения в устройства 162-1 - 162-M кодирования.
Каждое из устройств 162-1 - 162-M кодирования имеет состав, аналогичный структуре устройства 50 кодирования на фиг. 3. Устройства 162-1 - 162-M кодирования выполняют кодирование со сжатием изображений, подаваемых устройствами 161 формирования изображения, независимо, для каждого элемента мозаичного изображения с помощью системы, соответствующей системе HEVC. Каждое из устройств 162-1 - 162-M кодирования передает кодированный поток, полученный в результате кодирования со сжатием, в устройство 163 синтеза.
Устройство 163 синтеза принимает кодированные потоки, передаваемые из устройств 162-1 - 162-M кодирования. Устройство 163 синтеза синтезирует каждые кодированные данные, содержащиеся в синтезируемых потоках, как кодированные данные разных элементов мозаичного изображения. Устройство 163 синтеза генерирует информацию о разделении мозаичного изображения, обозначающую положения кодированных данных соответствующих элементов мозаичного изображения и представляющую М, как количество разделений кодированных данных, полученных в результате синтеза. Устройство 163 синтеза устанавливает SPS, содержащий информацию разделения мозаичного изображения, и информацию фильтра устранения блоков, установленную в значение false (0). Кроме того, устройство 163 синтеза устанавливает VUI, содержащий информацию ограничении движения, установленную в значение (0), PPS содержит информацию фильтра удаления блочности, установленную в false (0), и APS. Устройство 163 синтеза генерирует синтезированный поток путем добавления SPS, PPS, VUI, APS и т.п., к кодированным данным, полученным в результате синтеза. Устройство 163 синтеза передает синтезированный поток в устройство 164-1 - 164-M декодирования.
Каждое из устройств 164-1 - 164-M декодирования имеет состав, аналогичный структуре устройства 90 декодирования на фиг. 15. Каждое из устройств 164-1 - 164-M декодирования принимает синтезированный поток, переданный из устройства 163 синтеза. Каждое из устройств 164-1 - 164-M декодирования независимо декодирует синтезированный поток для каждого элемента мозаичного изображения, и подает декодированное изображение, полученное в результате декодирования, в соответствующее одно из устройств 165-1 – 165-M отображения.
Соответствующие устройства 165-1-165-M отображения расположены в соответствующих местах положения М участников конференции. Устройства 165-1 - 165-M отображения отображают декодированные изображения, подаваемые устройствами 164-1 - 164-M декодирования.
Кроме того, в соответствии с системой 160 телевизионной конференции, устройства 165-1 - 165-M отображения располагаются в соответствующих местах положения М участников конференции. Однако устройства отображения могут быть расположены в местах положения части М участников конференции. Кроме того, в устройствах отображения могут отображаться декодированные изображения лиц, не участвующих в конференции.
Как описано выше, в соответствии с системой 160 телевизионной конференции, устройство 162-1 - 162-M кодирования выполняет кодирование независимо для каждого элемента мозаичного изображения. В соответствии с этим, вектор движения при прогнозировании между кадрами всегда становится вектором, обозначающим изображение, в пределах элемента мозаичного изображения, содержащего блок прогнозирования, как опорное изображение.
В этом случае, даже когда кодированные данные, содержащиеся в кодированных потоках битов, подаваемые устройствами 162-1 - 162-M кодирования, синтезируют устройством 163 синтеза, поскольку они представляют собой часть кодированных данных одного экрана, не делается ссылка на декодированное изображение, соответствующее кодированным данным другого устройства кодирования после синтеза кодированных данных во время декодирования. В этом случае обеспечивается возможность нормального декодирования кодированных данных после синтеза. В соответствии с этим, устройство 163 синтеза может легко синтезировать кодированные потоки битов, подаваемые устройствами 162-1 - 162-M кодирования, без изменения уровней таких, как уровень кодирования видеоданных (VCL), и более низких уровней.
Этот момент является особенно предпочтительным для системы для телевизионной конференции, где количество кодированных потоков битов, которые должны быть синтезированы, может динамически изменяться путем добавления нового участника конференции или при удалении участника конференции в ходе конференции.
Кроме того, не делается ссылка на декодированное изображение других кодированных данных каждых из М кодированных данных, содержащихся в синтезируемом потоке. В соответствии с этим, синтезируемый поток может быть снова разделен на кодированные потоки, содержащие соответствующие кодированные данные. В результате, может быть легко выполнена обработка, ассоциированная с синтезированным потоком.
Кроме того, в соответствии с представленным выше описанием, кодирование и декодирование выполняют независимо для каждого элемента мозаичного изображения. Однако кодирование и декодирование могут быть выполнены независимо для каждого среза.
Кроме того, в соответствии с представленным выше описанием, информация, которая может быть разделена на элементы мозаичного изображения, совместно установлена для всех элементов мозаичного изображения, составляющих изображение. Однако информация, которая может быть разделена на элементы мозаичного изображения, может быть индивидуально установлена для каждого элемента мозаичного изображения.
Другой пример VUI
На фиг. 24 показана схема, представляющая другой пример синтаксиса VUI, когда информация, которая может быть разделена на элементы мозаичного изображения, установлена для каждого элемента мозаичного изображения.
Когда информация, которая может быть разделена на элементы мозаичного изображения, установлена для каждого элемента мозаичного изображения, информация, которая может быть разделена на элементы мозаичного изображения (tile_splittable_flag) соответствующих элементов мозаичного изображения, размещенных в направлении строки (горизонтальное направление), установлена для каждой строки в VUI, как представлено в строках 5 - 7 на фиг. 24.
В этом случае кодирование и декодирование могут быть выполнены только для заданного элемента мозаичного изображения, для каждого модуля элементов мозаичного изображения, содержащегося в элементах мозаичного изображения, составляющих изображение. Например, предположим, что количество элементов мозаичного изображения равно 4, при этом информация о возможности разделения элемента мозаичного изображения для элемента №1 мозаичного изображения установлена в значение true (1), и информация о возможности разделения на элементы мозаичного изображения для элементов №2 - №4 мозаичного изображения установлена, как false (0), разрешено независимое декодирование только элемента №1 мозаичного изображения.
Кроме того, когда bitstream_restriction_flag для строки 1 равен 0, сторона декодирования распознает, что все элементы мозаичного изображения не могут быть декодированы для каждого элемента мозаичного изображения на основе определения того, что информация о возможности разделения элемента мозаичного изображения для всех элементов мозаичного изображения установлена, как false (0).
Четвертый вариант осуществления
Применимость для кодирования изображения, снятого из множества точек обзора, и декодирования изображения, снятого из множества точек обзора
Последовательность обработки, описанная выше, применима для кодирования изображения, снятого из множества точек обзора, и декодирования изображения, снятого из множества точек обзора. На фиг. 25 показан пример системы кодирования изображения, снятого из множества точек обзора.
Как показано на фиг. 25, изображение, снятое из множества точек обзора, содержит множество видов (виды). Множество видов изображения, снятого из множества точек обзора, состоят из основных видов для кодирования и декодирования, используя только изображения их собственных видов, без использования изображения других видов и не основных видов для кодирования и декодирования, используя изображения других видов. Для не основных видов могут использоваться изображения основных видов, или могут использовать изображения других не основных видов.
Для кодирования и декодирования изображения, снятого из множества видов, как показано на фиг. 25, изображения соответствующих видов кодируют или декодируют. В этом случае, способы в первом - третьем вариантах осуществления, описанных выше, могут применяться для кодирования и декодирования соответствующих видов. Когда применяются такие способы, разрешено независимое кодирование и декодирование в направлении времени для каждого элемента мозаичного изображения.
Кроме того, флаги и параметры, используемые в способах в соответствии с первым - третьим вариантами осуществления, описанными выше, могут совместно использоваться при кодировании и декодировании соответствующих видов. Более конкретно, элементы синтаксиса и т.п., например, SPS, PPS, VUI и APS могут совместно использоваться при кодировании и декодировании соответствующих видов. Само собой разумеется, необходимая информация, другая, чем эта, может совместно использоваться при кодировании и декодировании соответствующих видов.
В случае их совместного использования достигается подавление передачи избыточной информации и уменьшение количества информации (количество кодов), предназначенных для передачи (то есть, подавляется снижение эффективности кодирования).
Устройство кодирования изображения, снятого из множества точек обзора
На фиг. 26 показана схема, представляющая устройство кодирования изображения, снятое из множества точек обзора, которое выполняет описанное выше кодирование изображения, снятого из множества точек обзора. Как показано на фиг. 26, устройство 600 кодирования изображения, снятого из множества точек обзора, включает в себя модуль 601 кодирования, модуль 602 кодирования и модуль 603 мультиплексирования.
Модуль 601 кодирования кодирует изображения основного вида, и генерирует кодированный поток изображения основного вида. Модуль 602 кодирования кодирует изображения не основного вида, и генерирует кодированный поток изображений не основного вида. Модуль 603 мультиплексирования мультиплексирует кодированный поток изображения основного вида, генерируемый модулем 601 кодирования, и кодированный поток изображения не основного вида, генерируемый модулем 602 кодирования, и, генерирует кодированный поток многопроекционных изображений.
Устройство 50 кодирования (фиг. 3), и устройства 162-1 - 162-M кодирования (фиг. 23) применимы в модуле 601 кодирования и в модуле 602 кодирования такого устройства 600 кодирования для изображения, снятого из множества точек обзора. Другими словами, при кодировании соответствующих видов, обеспечивается возможность независимого кодирования в направлении времени для каждого элемента мозаичного изображения. Кроме того, модуль 601 кодирования и модуль 602 кодирования могут выполнять кодирование, используя те же флаги и параметры (например, элементы синтаксиса, ассоциированные с обработкой между изображениями) (то есть, флаги и параметры могут совместно использоваться между модулями 601 и 602 кодирования). В соответствии с этим, может исключаться ухудшение эффективности кодирования.
Устройство декодирования изображения, снятого из множества точек обзора
На фиг. 27 показана схема, представляющая устройство декодирования, снятое из множества точек обзора, выполняющее описанное выше декодирование изображения, снятого из множества точек обзора. Как показано на фиг. 27, устройство 610 декодирования изображения, снятого из множества точек обзора, имеет модуль 611 обратного мультиплексирования, модуль 612 декодирования и модуль 613 декодирования.
Модуль 611 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока изображения, снятого из множества точек обзора, генерируемого в результате мультиплексирования кодированного потока изображения основного вида и кодированного потока изображения неосновного вида, и выделяет кодированный поток изображения основного вида и кодированный поток изображения неосновного вида. Модуль 612 декодирования декодирует кодированный поток изображения основного вида, выделенный модулем 611 обратного мультиплексирования, и получает изображения основного вида. Модуль 613 декодирования декодирует кодированный поток изображения неосновного вида, выделенный модулем 611 обратного мультиплексирования, и получает изображения неосновного вида.
Устройство 90 декодирования (фиг. 15), и устройство 140 декодирования (фиг. 21) или устройства 164-1 - 164-M декодирования (фиг. 23) могут применяться в модуле 612 декодирования и модуле 613 декодирования в этом устройстве 610 декодирования изображения, снятого из множества точек обзора. Другими словами, при декодировании соответствующих видов, обеспечивается возможность независимого декодирования в направлении времени для каждого элемента мозаичного изображения. Кроме того, модуль 612 декодирования и модуль 613 декодирования могут выполнять декодирование, используя те же флаги и параметры (например, элементы синтаксиса, ассоциированные с обработкой между изображениями) (то есть, флаги и параметры могут совместно использоваться в модулях 612 и 613 декодирования). В соответствии с этим, можно исключить ухудшение эффективности кодирования.
Пятый вариант осуществления
Применимость для кодирования иерархического изображения и декодирования иерархического изображения
Последовательность обработки, описанная выше, применима к кодированию иерархического изображения и декодированию иерархического изображения (масштабируемое кодирование и масштабируемое декодирование). На фиг. 28 показан пример системы кодирования иерархического изображения.
Кодирование иерархического изображения (масштабируемое кодирование) делит данные изображения на множество уровней (иерархий) таким образом, что заданный параметр имеет функцию масштабирования, и кодирует каждый уровень. Декодирование иерархического изображения (масштабируемое декодирование) представляет собой декодирование в соответствии этим кодированием иерархического изображения.
Как показано на фиг. 28, при разделении изображений на уровни, одно изображение делят на множество изображений (уровней) на основе заданного параметра, имеющего функцию масштабирования. Другими словами, иерархически упорядоченное изображение (иерархическое изображение) содержит множество иерархий (уровней) изображений, каждая из которых имеет значение параметра, отличное от другого, с учетом заданного параметра. Такое множество уровней иерархического изображения составлено из основных уровней для кодирования и декодирования, используя только изображения их собственных уровней, без использования изображения других уровней, и не основных уровней (также называемых уровнями улучшения), для кодирования и декодирования, используя изображений других уровней. Для не основных уровней могут использоваться изображения основных уровней, или могут использоваться изображения других не основных уровней.
В общем, не основные уровни состоят из данных (данных разности), для разностных изображений между их собственными изображениями и изображениями других уровней, для уменьшения избыточности. Например, когда одно изображение делят на две иерархии основного уровня и не основного уровня (также называется уровнем улучшения), изображение, имеющее более низкое качество, чем у оригинального изображения, формируют на основе только данных основного уровня. С другой стороны, оригинальное изображение (то есть, изображение высокого качества) может быть сформировано, когда синтезируют данные основного уровня и данные не основного уровня.
Когда изображение иерархически упорядочено таким образом, качество изображения можно легко изменять в зависимости от ситуации. Например, в случае, когда терминал имеет низкую способность обработки, такую, как у сотового телефона, информация сжатия изображения только основных уровней будет передана для формирования динамического изображения, имеющего, например, низкое пространственно-временное разрешение или имеющее низкое качество изображения. В случае терминала, имеющего высокую способность обработки, такого, как телевизионный приемник и персональный компьютер, информация о сжатии изображения уровня улучшения, в дополнение к основным уровням, будет передана, для формирования динамического изображения, например, имеющего высокое пространственно-временное разрешение или имеющего высокое качество. В этом случае, информация о сжатии изображения, в соответствии со способностью терминала или сети, может быть передана из сервера без выполнения обработки транскодирования.
При кодировании и декодировании иерархического изображения, как показано в примере на фиг. 28, кодируют и декодируют изображения соответствующих уровней. В этом случае, способы, в соответствии с первым - третьим вариантами осуществления применимы для кодирования и декодирования соответствующих уровней. Когда применяют эти способы, обеспечивается возможность независимого кодирования и декодирования в направлении времени для каждого элемента мозаичного изображения.
Кроме того, флаги и параметры, используемые в способах в соответствии с первым - третьим вариантами осуществления, описанными выше, могут совместно использоваться при кодировании и декодировании соответствующих уровней. Более конкретно, элементы синтаксиса и т.п., например, SPS, PPS, VUI и APS, могут совместно использоваться при кодировании и декодировании соответствующих уровней. Само собой разумеется, что необходимая информация, другая, чем эта, может совместно использоваться при кодировании и декодировании соответствующих уровней.
В случае совместного использования, может быть обеспечено уменьшение передачи избыточной информации, и уменьшение количества информации (количество кодов), которое должно быть передано (то есть, может быть предотвращено уменьшение эффективности кодирования).
Масштабируемый параметр
В соответствии с этим кодированием иерархического изображения и декодированием иерархического изображения (масштабируемое кодирование и масштабируемое декодирование), параметр, обладающий функцией масштабируемости (масштабируемость) представляет собой свободный параметр. Например, пространственное разрешение, представленное на фиг. 29, может быть определено, как параметр (пространственная масштабируемость). В случае пространственной масштабируемости (пространственная масштабируемость), разрешающая способность изображения является переменной для каждого уровня. Более конкретно, в этом случае, каждое изображение разделено на два типа иерархии, такие как основной уровень, имеющий более низкое пространственное разрешение, чем разрешение оригинального изображения, и уровни улучшения, на которых достигается оригинальное пространственное разрешение, когда их синтезируют с основными уровнями, как показано на фиг. 29. Само собой разумеется, такое количество иерархий представляет собой пример, и количество иерархий может представлять собой произвольное количество.
В качестве альтернативы, параметр, обладающий такой масштабируемостью, может иметь временное разрешение (временная масштабируемость), как показано, например, на фиг. 30. В случае такой временной масштабируемости (временная масштабируемость), частота кадров является переменной для каждого уровня. Более конкретно, в таком случае, каждое изображение разделяют на два типа иерархии, такие как основной уровень, имеющий более низкую частоту кадров, чем частота кадров оригинального изображения, и уровни улучшения, получающих оригинальную частоту кадров, будучи синтезированными с основными уровнями, как показано на фиг. 30. Само собой разумеется, что такое количество иерархий представляет собой пример, и что количество иерархий может представлять собой произвольное количество.
Кроме того, параметр, обладающий такой масштабируемостью, может представлять собой, например, отношение сигнал-шум (отношение сигнал/шум (SNR)) (масштабируемость SNR). В случае такой масштабируемости SNR отношение SNR является переменным для каждого уровня. Более конкретно, в этом случае, каждое изображение разделяют на два типа иерархии, такие как основной уровень, имеющий более низкое SNR, чем SNR оригинального изображения, и уровни улучшения, получающие оригинальное SNR, будучи синтезированными с основными уровнями, как показано на фиг. 31. Само собой разумеется, такое количество иерархий представляет собой пример, и количество иерархий может представлять собой произвольное количество.
Очевидно, что параметр, обладающий масштабируемостью, может представлять собой другой параметр, кроме описанных выше параметров. Например, параметр, обладающий масштабируемостью, может представлять собой глубину битов (масштабируемость глубины битов). В случае такой масштабируемости глубины битов, глубина битов является переменной для каждого уровня. В этом случае, каждый из основных уровней состоит, например, из 8-битного изображения. Уровень улучшения добавляют к этому изображению, с тем, чтобы получить 10-битное (битное) изображение.
Кроме того, параметр, обладающий масштабируемостью, может представлять собой формат цветности (масштабируемость цветности). В случае такой масштабируемости цветности, формат цветности является переменным для каждого уровня. В этом случае, каждый из основных уровней (основных уровней) состоит из составного изображения, имеющего, например, формат 4:2:0. Уровень улучшения добавляют к этому уровню, с тем, чтобы получить составное изображение, имеющее формат 4:2:2.
Устройство кодирования иерархического изображения
На фиг. 32 показано устройство кодирования иерархического изображения, которое выполняет описанное выше кодирование иерархического изображения. Как показано на фиг. 32, устройство 620 кодирования иерархического изображения включает в себя модуль 621 кодирования, модуль 622 кодирования и модуль 623 мультиплексирования.
Модуль 621 кодирования кодирует изображения основного уровня, и генерирует кодированный поток изображения основного уровня. Модуль 622 кодирования кодирует изображения, не основного уровня, и генерирует кодированный поток изображения не основного уровня. Модуль 623 мультиплексирования мультиплексирует кодированный поток изображения основного уровня, генерируемый модулем 621 кодирования, и кодированный поток изображения не основного уровня, генерируемый модулем 622 кодирования, и генерирует кодированный поток иерархического изображения.
Устройство 50 кодирования (фиг. 3), и устройства 162-1 - 162-M кодирования (фиг. 23) применимы к модулю 621 кодирования и модулю 622 кодирования в этом устройстве 620 кодирования иерархического изображения. Другими словами, при кодировании соответствующих уровней, обеспечивается возможность применения независимого кодирования в направлении времени для каждого элемента мозаичного изображения. Кроме того, модуль 621 кодирования и модуль 622 кодирования могут выполнять управление фильтрации для прогнозирования внутри кадра, и т.п., используя одинаковые флаги и параметры (например, элементы синтаксиса, ассоциированные с обработкой между изображениями) (то есть, флаги и параметры могут совместно использоваться между модулями 621 и 622 кодирования). В соответствии с этим, можно предотвращать снижение эффективности кодирования.
Устройство декодирования иерархического изображения
На фиг. 33 показана схема, представляющая устройство декодирования иерархического изображения, которое выполняет описанное выше декодирование иерархического изображения. Как показано на фиг. 33, устройство 630 декодирования иерархического изображения включает в себя модуль 631 обратного мультиплексирования, модуль 632 декодирования и модуль 633 декодирования.
Модуль 631 обратного мультиплексирования выполняет обратное мультиплексирование кодированного потока иерархического изображения, генерируемого путем мультиплексирования кодированного потока изображения основного уровня и кодированного потока изображения не основного уровня, и выделяет кодированный поток изображения основного уровня и кодированный поток изображения не основного уровня. Модуль 632 декодирования декодирует кодированный поток изображения основного уровня, выделенный модулем 631 обратного мультиплексирования, и получает изображения основного уровня. Модуль 633 декодирования декодирует кодированный поток изображения не основного уровня, выделенный модулем 631 обратного мультиплексирования, и получает изображения не основного уровня.
Устройство 90 декодирования (фиг. 15), устройство 140 декодирования (фиг. 21), или устройства 164-1 - 164-M декодирования (фиг. 23) применимы в модуле 632 декодирования и в модуле 633 декодирования такого устройства 630 декодирования иерархического изображения. Другими словами, на соответствующих уровнях декодирования разрешено независимое декодирование в направлении времени для каждого элемента мозаичного изображения. Кроме того, модуль 612 декодирования и модуль 613 декодирования могут выполнять декодирование, используя одни и те же флаги и параметры (например, элементы синтаксиса, ассоциированные с обработкой между изображениями) (то есть, флаги и параметры могут совместно использоваться между модулями 612 и 613 декодирования). В соответствии с этим, может предотвращаться ухудшение эффективности кодирования.
Шестой вариант осуществления
Описание компьютера, в котором применяется такая технология
Последовательность описанной выше обработки может выполняться, используя аппаратные средства, или может выполняться с помощью программного обеспечения. Когда последовательности обработки исполняются программным обеспечением, программу, составляющую программное обеспечение, устанавливают в компьютер. Примеры такого компьютера включают в себя компьютер, встроенный в специализированные аппаратные средства, и универсальный компьютер, и т.п., выполненный с возможностью исполнения различных типов функций, в соответствии с различного типа программами, установленными в нем.
На фиг. 34 показана блок-схема, представляющая пример состава аппаратных средств компьютера, исполняющего последовательность описанной выше обработки в соответствии с программой.
В компьютере центральное процессорное устройство (CPU) 801, постоянное запоминающее устройство (ROM) 802 и оперативное запоминающее устройство (RAM) 803 соединены друг с другом через шину 804.
Интерфейс 805 ввода-вывода дополнительно соединен с шиной 804. Модуль 806 ввода, модуль 807 вывода, модуль 808 хранения, модуль 809 связи и привод 810 соединены через интерфейс 805 ввода-вывода.
Модуль 806 ввода состоит из клавиатуры, мыши, микрофона и т.п. Модуль 807 вывода состоит из устройства отображения, громкоговорителя и т.п. Модуль 808 сохранения состоит из жесткого диска, энергонезависимого запоминающего устройства и т.п. Модуль 809 связи состоит из сетевого интерфейса и т.п. Привод 810 выполняет привод съемного носителя 811 в форме магнитного диска, оптического диска, магнитооптического диска, полупроводникового запоминающего устройства и т.п.
В соответствии с компьютером, составленным таким образом, последовательность описанных выше процессов выполняется CPU 801, которое загружает программу, сохраненную в модуле 808 хранения, например, в RAM 803 через интерфейс 805 ввода-вывода и шину 804, и исполняет программу.
Программа, исполняемая компьютером (CPU 801), может быть записана на съемный носитель 811 информации, как пакетный носитель записи, и т.п., и может быть предоставлена, например, в форме съемного носителя 811 информации. Кроме того, программа может быть передана через проводную или беспроводную среду передачи данных, такую как локальная вычислительная сеть, Интернет и цифровая спутниковая широковещательная передача.
В соответствии с компьютером, программа может быть установлена в модуле 808 хранения со съемного носителя 811 информации, который соединен с приводом 810 через интерфейс 805 ввода-вывода. В качестве альтернативы, программа может быть принята модулем 809 связи через проводную или беспроводную среду связи и может быть установлена в модуле 808 хранения. Вместо этого, программа может быть установлена заранее в ROM 802 или в модуле 808 хранения.
Кроме того, программа, предназначенная для исполнения компьютером, может представлять собой программу, в соответствии с которой выполняются процессы во временной последовательности, в порядке, описанном в данном описании, или выполняются параллельно или в необходимое время, такое как время доступа.
Седьмой вариант осуществления
Пример состава телевизионного приемника
На фиг. 35 показан пример общей структуры телевизионного приемника, в котором применяется настоящая технология. Телевизионный приемник 900 включает в себя антенну 901, тюнер 902, демультиплексор 903, декодер 904, модуль 905 обработки видеосигнала, модуль 906 отображения, модуль 907 обработки аудиосигнала, громкоговоритель 908 и модуль 909 внешнего интерфейса. Телевизионный приемник 900 дополнительно включает в себя модуль 910 управления, модуль 911 интерфейса пользователя и т.п.
Тюнер 902 выбирает требуемый канал из сигналов волны широковещательной передачи, принятых антенной 901, демодулирует выбранный канал, и выводит кодированный поток битов, полученный, таким образом, в демультиплексор 903.
Демультиплексор 903 выделяет пакет изображений и голосовых данных телевизионной программы, которая предназначена для просмотра, из кодированного потока битов, и выводит данные выделенного пакета в декодер 904. Кроме того, демультиплексор 903 подает пакеты данных, такие как электронная программа передач (EPG), в модуль управления 910. Во время скремблирования скремблирование удаляют, используя демультиплексор и т.п.
Декодер 904 выполняет декодирование пакета, и выводит видеоданные, генерируемые в результате декодирования, в модуль 905 обработки видеосигнала, и выводит аудиоданные в модуль 907 обработки аудиосигнала.
Модуль 905 обработки видеосигнала выполняет обработку видеоданных, такую как удаление шумов, обработка изображение и т.п., в соответствии с установками пользователя. Модуль 905 обработки видеосигнала генерирует данные изображения программы, предназначенной для отображения в модуле 906 отображения, данные изображения, полученные в ходе обработки, выполняемой в соответствии с приложением, передаваемым через сеть, и т.п. Кроме того, модуль 905 обработки видеосигнала генерирует видеоданные для отображения экрана меню, который позволяет выбирать элементы и т.п., и накладывает сгенерированные видеоданные на видеоданные программы. Модуль 905 обработки видеосигнала генерирует сигналы управления на основе видеоданных, сгенерированных таким образом, и выполняет управление модулем 906 отображения.
Модуль 906 отображения выполняет управление устройствами отображения (такими, как элементы жидкокристаллического отображения), в соответствии с сигналами управления, принимаемыми из модуля 905 обработки видеосигнала, для отображения изображения и т.п. программы.
Модуль 907 обработки аудиосигнала выполняет заданную обработку аудиоданных, такую как устранение шумов, выполняет D/A преобразование и усиление аудиоданных после обработки, и подает результат в громкоговоритель 908 для вывода голоса.
Модуль 909 внешнего интерфейса представляет собой интерфейс, соединенный с внешним устройством или сетью. Модуль 909 внешнего интерфейса передает и принимает данные, такие как видеоданные и аудиоданные.
Модуль 911 интерфейса пользователя соединен с модулем 910 управления. Модуль 911 интерфейса пользователя состоит из переключателя операции, модуля приема сигнала дистанционного управления и т.п., и подает сигналы операции, соответствующие операции пользователя, в модуль 910 управления.
Модуль 910 управления состоит из центрального процессорного устройства (CPU), запоминающего устройства и т.п. В запоминающем устройстве содержится программа, исполняема CPU, различные типы данных, необходимых для обработки, выполняемой CPU, данные EPG, данные, полученные через сеть, и т.п. Программу, сохраненную в запоминающем устройстве, считывают и исполняют с помощью CPU в заданное время, например, при включении телевизионного приемника 900. CPU управляет соответствующими частями, исполняя программу таким образом, что телевизионный приемник 900 работает в соответствии с операцией пользователя.
Далее, в телевизионном приемнике 900 предусмотрена шина 912, через которую модуль 910 управления соединяется с тюнером 902, демультиплексором 903, модулем 905 обработки видеосигнала, модулем 907 обработки аудиосигнала, модулем 909 внешнего интерфейса и т.п.
В соответствии с телевизионным приемником, который построен таким образом, в декодере 904 предусмотрена функция устройства декодирования (способа декодирования), в соответствии с настоящей заявкой. Соответственно, обеспечивается возможность независимого декодирования в направлении времени для каждого элемента мозаичного изображения.
Восьмой вариант осуществления
Пример состава сотового телефона
На фиг. 36 показан пример общей структуры сотового телефона, в котором применяется настоящая технология. Сотовый телефон 920 включает в себя модуль 922 связи, аудиокодек 923, модуль 926 камеры, модуль 927 обработки изображений, модуль 928 разделения мультиплексирования, модуль 929 записи и воспроизведения, модуль 930 отображения и модуль 931 управления. Они соединены друг с другом через шину 933.
Антенна 921 соединена с модулем 922 передачи данных, в то время, как громкоговоритель 924 и микрофон 925 соединены с аудиокодеком 923. Кроме того, модуль 932 операций соединен с модулем 931 управления.
Сотовый телефон 920 выполняет операции разных типов, такие как передача и прием аудиосигналов, передача и прием электронной почты и данных изображения, формирование изображений, запись данных и т.п. в различных типах режимов, включая в себя режим речевой связи и режим связи.
В режиме передачи аудиоданных аудиосигналы, генерируемые микрофоном 925, преобразуют в аудиоданные и подвергают сжатию данных, используя аудиокодек 923, и их подают в модуль 922 связи. Модуль 922 связи выполняет модуляцию, преобразование частоты и другую обработку аудиоданных, и генерирует сигналы передачи. Кроме того, модуль 922 связи передает сигналы передачи в антенну 921 для передачи сигналов передачи в не показанную базовую станцию. Кроме того, модуль 922 связи выполняет усиление, преобразование частоты, демодуляцию и другую обработку принимаемых сигналов, принимаемых антенной 921, и подает аудиоданные, полученные таким образом, в аудиокодек 923. Аудиокодек 923 расширяет данные до аудиоданных, и преобразует аудиоданные в аналоговые аудиосигналы, и выводит результат в громкоговоритель 924.
Кроме того, для передачи почты в режиме передачи данных модуль 931 управления принимает данные знака, вводимые при выполнении операции с модулем 932 операций, и отображает введенные знаки в модуле 930 отображения. Кроме того, модуль 931 генерирует данные почты, на основе инструкций пользователя и т.п., подаваемых через модуль 932 оперирования, и передает эти данные в модуль 922 связи. Модуль 922 связи выполняет модуляцию, преобразование частоты и т.п. данных почты и передает сигнал передачи, полученный, таким образом, через антенну 921. Кроме того, модуль 922 связи выполняет усиление, преобразование частоты, демодуляцию и т.п. принимаемых сигналов, принимаемых антенной 921, для восстановления данных почты. Данные почты, полученные таким образом, поступают в модуль 930 отображения, для отображения содержания почты.
Кроме того, сотовый телефон 920 может сохранять принятые данные почты в запоминающем устройстве, используя модуль 929 записи и воспроизведения. Запоминающее устройство представляет собой произвольное запоминающее устройство, выполненное с возможностью перезаписи. Например, запоминающее устройство представляет собой съемное запоминающее устройство, такое как полупроводниковое запоминающее устройство, включающее в себя RAM, и встроенное запоминающее устройство флэш, жесткий диск, магнитный диск, магнитооптический диск, оптический диск, запоминающее устройство USB и карту памяти.
Для передачи данных изображения в режиме передачи данных данные изображения, генерируемые модулем 926 камеры, подают в модуль 927 обработки изображений. Модуль 927 обработки изображений выполняет кодирование данных изображения для генерирования кодированных данных.
Модуль 928 разделения мультиплексирования мультиплексирует кодированные данные, генерируемые модулем 927 обработки изображений, и аудиоданные, подаваемые аудиокодеком 923, используя заданную систему, и подает результат в модуль 922 передачи данных. Модуль 922 связи выполняет модуляцию, преобразование частоты и т.п. мультиплексированных данных, и передает сигналы передачи, полученные таким образом, в антенну 921. Кроме того, модуль 922 передачи данных выполняет усиление, преобразование частоты, демодуляцию и т.п. принимаемых сигналов, принимаемых антенной 921, для восстановления мультиплексированных данных. Эти мультиплексированные данные подают в модуль 928 разделения мультиплексирования. Модуль 928 разделения мультиплексирования разделяет мультиплексированные данные и подает кодированные данные в модуль 927 обработки изображений, и подает аудиоданные в аудиокодек 923. Модуль 927 обработки изображений выполняет декодирование кодированных данных для генерирования данных изображения. Эти данные изображения подают в модуль 930 отображения для отображения в устройстве отображения изображений, полученных таким образом. Аудиокодек 923 преобразует аудиоданные в аналоговые аудиосигналы и подает результат в громкоговоритель 924 для вывода речи, полученной таким образом.
В соответствии с сотовым телефоном, построенным таким образом, в модуле 927 обработки изображений предусмотрены функции устройства кодирования и устройства декодирования (способа кодирования и способа декодирования), в соответствии с настоящей заявкой. В соответствии с этим, обеспечивается возможность независимого кодирования и декодирования в направлении времени для каждого элемента мозаичного изображения.
Девятый вариант осуществления
Пример состава устройства записи и воспроизведения
На фиг. 37 показан пример общей структуры устройства записи и воспроизведения, в котором применяется настоящая технология. Устройство 940 записи и воспроизведения записывает аудиоданные и видеоданные принятой программы широковещательной передачи на носителе записи, и предоставляет записанные данные пользователю, в момент времени, соответствующий, например, инструкциям пользователя. Кроме того, устройство 940 записи и воспроизведения может получать аудиоданные и видеоданные из другого устройства и записывать 940 их, например, на носитель записи. Кроме того, устройство записи и воспроизведения может обеспечивать отображение изображения и вывод речи из устройства мониторинга и т.п., путем декодирования аудиоданных и видеоданных, записанных на носителе записи, и может выводить результат.
Устройство 940 записи и воспроизведения включает в себя тюнер 941, модуль 942 внешнего интерфейса, кодер 943, модуль 944 привода жесткого диска (HDD), привод 945 диска, селектор 946, декодер 947, модуль 948 отображения на экране (OSD), модуль 949 управления и модуль 950 интерфейса пользователя.
Тюнер 941 выбирает требуемый канал из сигналов широковещательной передачи, принятых не показанной антенной. Тюнер 941 выводит кодированный поток битов, полученный путем демодуляции принимаемых сигналов требуемым каналом, в селектор 946.
Модуль 942 внешнего интерфейса состоит, по меньшей мере, из одного из интерфейса IEEE 1394, модуля сетевого интерфейса, интерфейса USB, интерфейса флэш-памяти и т.п. Модуль 942 внешнего интерфейса представляет собой интерфейс для соединения с внешним устройством, сетью, картой памяти и т.п., и принимает данные, которые должны быть записаны, такие как видеоданные и аудиоданные.
Кодер 943 выполняет кодирование с помощью заданной системы, когда видеоданные и аудиоданные, подаваемые модулем 942 внешнего интерфейса не кодированы, и выводит кодированный поток битов в селектор 946.
Модуль 944 HDD записывает данные содержания, такие как изображения и речь, различные типы программ, другие данные и т.п., на встроенный жесткий диск, и считывает их из соответствующего жесткого диска, например, во время воспроизведения.
Привод 945 диска записывает сигналы на установленный оптический диск, и воспроизводит сигналы с оптического диска. Оптический диск представляет собой диск DVD (например, DVD видео, DVD-RAM, DVD-RW, DVD+R, DVD+RW), диск Blu-ray (зарегистрированный товарный знак) и т.п.
Селектор 946 выбирает любой из кодированных потоков битов из тюнера 941 или кодера 943 во время записи изображений или речи, и подает выбранный поток битов либо в модуль 944 HDD или в привод 945 диска. Кроме того, селектор 946 подает кодированный поток битов, выводимый из модуля 944 HDD или привода 945 диска в декодер 947.
Декодер 947 выполняет декодирование кодированного потока битов. Декодер 947 подает видеоданные, сгенерированные путем декодирования, в модуль 948 OSD. Кроме того, декодер 947 выводит аудиоданные, сгенерированные в результате декодирования.
Модуль OSD 948 генерирует видеоданные для отображения экрана меню, ассоциированного с выбором элементов и т.п., накладывает эти видеоданные на видеоданные, выводимые из декодера 947, и выводит результат.
Модуль 950 интерфейса пользователя соединен с модулем 949 управления. Модуль 950 интерфейса пользователя состоит из переключателя операций, модуля приема сигнала пульта дистанционного управления и т.п., и подает сигналы оперирования, соответствующие операции пользователя, в модуль 949 управления.
Модуль 949 управления состоит из CPU, запоминающего устройства и т.п. В запоминающем устройстве содержится программа, исполняемая CPU, и различные данные, необходимые для обработки, выполняемой этим CPU. Программу, сохраненную в запоминающем устройстве, считывают и исполняют с помощью CPU в заданное время, такое как начало записи и воспроизведения устройства 940. CPU управляет соответствующими частями, путем исполнения программы таким образом, что устройство 940 записи и воспроизведения работает в соответствии с оперированием пользователя.
В соответствии с устройством записи и воспроизведения, составленным таким образом, в декодере 947 предусмотрена функция устройства декодирования (способа декодирования), в соответствии с настоящей заявкой. В соответствии с этим, обеспечивается возможность независимого декодирования в направлении времени для каждого элемента мозаичного изображения.
Десятый вариант осуществления
Пример состава устройства формирования изображения
На фиг. 38 показан пример общей структуры устройства формирования изображения, в которой применяется настоящая технология. Устройство 960 формирования изображения формирует изображения объекта и отображает изображение объекта в модуле отображения, и записывает изображение на носителе записи, как данные изображения.
Устройство 960 формирования изображения включает в себя оптический блок 961, модуль 962 формирования изображения, модуль 963 обработки сигналов камеры, модуль 964 обработки данных изображения, модуль 965 отображения, модуль 966 внешнего интерфейса, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD и модуль 970 управления. Кроме того, модуль 971 интерфейса пользователя соединен с модулем 970 управления. Кроме того, модуль 964 обработки данных изображения, модуль 966 внешнего интерфейса, модуль 967 запоминающего устройства, привод 968 носителя записи, модуль 969 OSD, модуль 970 управления и т.п. соединены друг с другом через шину 972.
Оптический блок 961 состоит из объектива фокусирования, механизма диафрагмы и т.п. Оптический блок 961 формирует оптическое изображение объекта на поверхности формирования изображения модуля 962 формирования изображения. Модуль 962 формирования изображения состоит из датчика изображения CCD или CMOS. Модуль 962 формирования изображения генерирует электрические сигналы, в соответствии с оптическим изображением, с помощью фотоэлектрического преобразования, и подает эти электрические сигналы в модуль 963 обработки сигналов камеры.
Модуль 963 обработки сигналов камеры выполняет различного типа обработку сигналов камеры такую, как коррекция ступенек, гамма-коррекция и коррекция цветности, для электрических сигналов, подаваемых модулем 962 формирования изображения. Модуль 963 обработки сигналов камеры подает данные изображения после обработки сигналов камеры в модуль 964 обработки данных изображения.
Модуль 964 обработки данных изображения выполняет кодирование данных изображения, подаваемых модулем 963 обработки сигналов камеры. Модуль 964 обработки данных изображения подает кодированные данные, сгенерированные в результате кодирования, в модуль 966 внешнего интерфейса и в привод 968 носителя записи. Кроме того, модуль 964 обработки данных изображения выполняет декодирование кодированных данных, подаваемых модулем 966 внешнего интерфейса, и приводом 968 носителя записи. Модуль 964 обработки данных изображения подает данные изображения, сгенерированные в результате декодирования, в модуль 965 отображения. Кроме того, модуль 964 обработки данных изображения передает данные изображения, переданные модулем 963 обработки сигналов камеры, в модуль 965 отображения. Кроме того, модуль 964 обработки данных изображения накладывает данные отображения, принятые из модуля 969 OSD, на данные изображения, и подает результат в модуль 965 отображения.
Модуль 969 OSD генерирует данные отображения, такие как экран меню и пиктограммы в форме символов, знаков или фигур, и выводит данные отображения в модуль 964 обработки данных изображения.
Модуль 966 внешнего интерфейса состоит из терминала ввода-вывода USB и т.п., и его соединяют с принтером во время печати изображений. Кроме того, привод соединяют с модулем 966 внешнего интерфейса, в соответствии с необходимостью. Компьютерную программу считывают со съемного носителя записи, такого как магнитный диск и оптический диск, соответствующим образом, установленный в приводе, и компьютерную программу, считанную с носителя информации, устанавливают, как необходимо. Кроме того, модуль 966 внешнего интерфейса имеет сетевой интерфейс, соединенный с заданной сетью, такой как LAN и Интернет. Модуль 970 управления может считывать кодированные данные из модуля 967 запоминающего устройства, например, в соответствии с инструкциями, из этого модуля 971 интерфейса пользователя, и позволять модулю 966 внешнего интерфейса подавать данные в другое устройство, соединенное через сеть. Кроме того, модуль 970 управления позволяет модулю 966 внешнего интерфейса получать кодированные данные и данные изображения, переданные другим устройством через сеть, и передает данные в модуль 964 обработки данных изображения.
Носитель записи, привод которого осуществляется с помощью привода 968 носителя записи, представляет собой, например, магнитный диск, магнитооптический диск, оптический диск, полупроводниковое запоминающее устройство или другой произвольный считываемый и перезаписываемый съемный носитель информации. Кроме того, носитель записи может представлять собой съемный носитель произвольного типа, такой как устройство ленты, диск и карта памяти. Само собой разумеется, что носитель записи может представлять собой бесконтактную IC-карту и т.п.
Кроме того, привод 968 носителя записи и носитель записи могут быть объединены и могут состоять из не портативного носителя записи, такого как встроенный привод на жестком диске и твердотельное устройство (SSD).
Модуль 970 управления состоит, например, из CPU, запоминающего устройства и т.п. В запоминающем устройстве содержится программа, выполняемая в CPU, и различные типы данных, необходимые для обработки, выполняемой CPU. Программу, сохраненную в запоминающем устройстве, считывают и исполняют с помощью CPU, в заданное время, например, при запуске устройства 960 формирования изображения. CPU управляет соответствующими частями, путем исполнения программы таким образом, чтобы устройство 960 формирования изображения работало в соответствии с операциями пользователя.
В соответствии с устройством формирования изображения, составленным таким образом, в модуле 964 обработки данных изображения предусмотрены функции устройства кодирования и устройства декодирования (способа кодирования и способа декодирования) в соответствии с настоящей заявкой. В соответствии с этим, обеспечивается возможность выполнения независимого кодирования и декодирования для каждого элемента мозаичного изображения.
Пример применения масштабируемого кодирования
Первая система
Конкретный пример применения масштабируемых кодированных данных, после масштабируемого кодирования (иерархического кодирования) будет описан ниже. Например, масштабируемое кодирование используется для выбора данных, предназначенных для передачи, как в примере, показанном на фиг. 39.
В системе 1000 связи, показанной на фиг. 39, сервер 1002 распределения считывает масштабируемые кодированные данные, сохраненные в масштабируемом в модуле 1001 запоминающего устройства кодированных данных, и распределяет эти данные в устройство терминала, такое, как персональный компьютер 1004, AV устройство 1005, планшетное устройство 1006 и сотовый телефон 1007, через сеть 1003.
В это время сервер 1002 распределения выбирает и передает кодированные данные, имеющие соответствующее качество, в соответствии с возможностями, окружающей средой передачи данных и т.п. устройств терминалов. Когда качество данных, передаваемых из сервера 1002 распределения, чрезмерно высокое, изображения с высоким качеством не обязательно формируются устройствами терминала. В этом состоянии существует возможность задержки или переполнения данных, и, кроме того, возможность ненужного заполнения полос передачи данных или ненужного увеличения нагрузки на оконечных устройства. В отличие от этого, когда качество данных, передаваемых из сервера 1002 распределения, чрезмерно низкое, изображения, имеющие достаточное качество, могут быть с трудом сгенерированы с помощью устройств терминала. В соответствии с этим, сервер 1002 распределения считывает масштабируемые кодированные данные, сохраненные в модуле 1001 масштабируемого запоминающего устройства кодированных данных, как кодированные данные, имеющие качество, соответствующее возможностям, окружающей среде и т.п. оконечных устройств, и передает эти данные соответствующим образом.
Например, предполагается, что модуль 1001 масштабируемого запоминающего устройства сохраняет масштабируемые кодированные данные (BL+EL) 1011, полученные в результате масштабируемого кодирования. Масштабируемые кодированные данные (BL+EL) 1011 представляют собой кодированные данные, содержащие как уровни основания, так и уровни улучшения, и получают, как изображения основного уровня, так и изображения уровня улучшения, когда их декодируют.
Сервер 1002 распространения выбирает соответствующие уровни, в соответствии с возможностями по пропускной способности, средой связи и т.п. оконечных устройств, в которые передают данные, и считывает данные из выбранных уровней. Например, сервер 1002 распределения считывает масштабируемые кодированные данные (BL+EL) 1011 высокого качества из модуля 1001 запоминающего устройства масштабируемых кодированных данных, и передает эти данные в том виде, как они есть, в персональный компьютер 1004 и в планшетное устройство 1006, обладающее высокой способностью по обработке. С другой стороны, например, сервер 1002 распределения выделяет данные основных уровней из масштабируемых кодированных данных (BL+EL) 1011, и передает выделенные данные, как масштабируемые данные (BL) 1012, имеющие то же содержание, что и содержание масштабируемых кодированных данных (BL+EL) 1011, но имеющее более низкое качество, чем качество масштабируемых кодированных данных (BL+EL) 1011, в устройство AV 1005 и в сотовый телефон 1007, имеющий более низкие способности по обработке.
Как можно понимать, объемом данных можно легко управлять, используя масштабируемые кодированные данные. В соответствии с этим, может быть предотвращена возможность задержки и переполнения, и, кроме того, возможность ненужного увеличения нагрузки в устройствах терминала и в средах передачи данных. Кроме того, в случае масштабируемых кодированных данных (BL+EL) 1011, избыточность между уровнями уменьшается; поэтому, объем данных становится меньшим по сравнению со случаем, когда кодированные данные соответствующих уровней обрабатывают, как дискретные данные. В соответствии с этим, область запоминающего устройства модуля 1001 в запоминающем устройстве масштабируемых кодированных данных может использоваться более эффективно.
Кроме того, устройства терминала могут представлять собой устройства различных типов от персонального компьютера 1004 до сотового телефона 1007. Таким образом, рабочие характеристики аппаратных средств изменяются в соответствии с типами устройств. Кроме того, приложения, исполняемые устройствами терминала, являются приложениями разных типов; поэтому, пропускная способность программного обеспечения также является переменной. Кроме того, сеть 1003, функционирующая, как среда передачи данных, может представлять собой различные типы сетей передачи, включая в себя проводные, беспроводные, и одновременно проводные и беспроводные типы, такие как Интернет и локальная вычислительная сеть (LAN). Таким образом, пропускная способность передачи данных является переменной. Кроме того, могут возникать вариации, например, из-за другой передачи данных.
В соответствии с этим, сервер 1002 распределения может связываться с оконечными устройствами, соответствующими местам назначения передачи данных, перед началом передачи данных, для получения информации о возможностях устройств терминала, таких как рабочие характеристики аппаратных средств устройств терминала, пропускная способность приложения (программного обеспечения), исполняемого устройствами терминала, и информация о среде передачи данных, такая как диапазон используемой полосы сети 1003. Затем сервер 1002 распределения может выбрать соответствующие уровни на основе полученной таким образом информации.
Кроме того, устройства терминала могут выполнить выделение уровней. Например, персональный компьютер 1004 может декодировать переданные масштабируемые кодированные данные (BL+EL) 1011, и может отображать изображения уровней основания, или отображать изображения уровней улучшения. Кроме того, персональный компьютер 1004 может выделять масштабируемые кодированные данные (BL) 1012 уровней основания из переданных масштабируемых кодированных данных (BL+EL) 1011, сохранять данные 1012, передавать данные 1012 в другое устройство, и декодировать данные 1012, например, в изображения отображения основных уровней.
Само собой разумеется, что каждое количество модулей 1001 запоминающего устройства масштабируемых кодированных данных, сервера 1002 распределения, сети 1003 и терминалов является произвольным количеством. Кроме того, в то время, как здесь был описан пример, в котором сервер 1002 распределения передает данные в устройства терминала, примеры приложения не ограничены этим примером. Система 1000 передачи данных может применяться в любой системе, если только система выберет соответствующие уровни, в соответствии с возможностями по пропускной способности устройств терминала, среды передачи данных и т.п., и передаст выбранные уровни, при передаче кодированных данных после масштабируемого кодирования, в оконечгые устройства.
Вторая система
Кроме того, масштабируемое кодирование применимо для передачи через множество сред связи, например, как в примере, показанном на фиг. 40.
В системе 1100 связи, показанной на фиг. 40, станция 1101 широковещательной связи передает масштабируемые кодированные данные (BL) 1121 основных уровней 1121, используя широковещательную передачу 1111 по наземной волне. Кроме того, станция 1101 широковещательной передачи, передает (например, передает в форме пакетов), масштабируемые кодированные данные 1122 (EL) уровней улучшения через произвольную сеть 1112, составленную из проводной, беспроводной сетями или одновременно проводной и беспроводной сетями связи.
В оконечном 1102 предусмотрена функция приема наземной волны широковещательной передачи 1111, широковещательную передачу которой выполняет станция 1101 широковещательной передачи, и принимает масштабируемые кодированные данные (BL) 1121 основных уровней, переданных через широковещательную передачу 1111 наземной волны. Кроме того, оконечное устройство 1102 дополнительно имеет функцию связи, состоящую в обеспечении связи через сеть 1112, и принимает масштабируемые кодированные данные (EL) 1122 уровней улучшения, переданные через сеть 1112.
Оконечное устройство 1102 декодирует масштабируемые кодированные данные (BL) 1121 основных уровней, полученных через широковещательную передачу 1111 наземной волны, например, в соответствии с инструкциями пользователя и т.п. и получает изображения основных уровней, сохраняет изображения и передает эти изображения в другое устройство.
Кроме того, оконечное устройство 1102 синтезирует масштабируемые кодированные данные (BL) 1121 основных уровней, полученные через широковещательную передачу 1111 наземной волны, и масштабируемые кодированные данные (EL) 1122, полученные через сеть 1112, в соответствии с инструкциями пользователя и т.п., например, для получения масштабируемых кодированных данных (BL+EL), получает изображения уровней улучшения путем декодирования данных, сохраняет изображения и передает изображения в другое устройство.
Как описано выше, масштабируемые кодированные данные могут быть переданы, например, через разные среды передачи для каждого уровня. В соответствии с этим, нагрузки могут быть распределены, и возможность задержки и переполнения может быть предотвращена.
Кроме того, среда связи, которая будет использоваться для передачи, может быть выбрана для каждого уровня в зависимости от ситуаций. Например, масштабируемые кодированные данные (BL) 1121 основных уровней, имеющих относительно большое количество данных, могут быть переданы через среду связи, имеющую широкий диапазон полосы частот, в то время как масштабируемые кодированные данные (EL) 1122 уровней улучшения, имеющих относительно малое количество данных, могут быть переданы через среду связи, имеющую узкий диапазон полосы частот. Кроме того, например, среду связи, в которой передают масштабируемые кодированные данные (EL) 1122 уровней улучшения, можно переключать между сетью 1112 и широковещательной передачей 1111 наземной волны, в соответствии с используемым диапазоном полос частот сети 1112. Само собой разумеется, что это применимо к данным произвольных уровней.
Такое управление может дополнительно предотвращать увеличение нагрузок, накладываемых на передачу данных.
Очевидно, что количество уровней представляет собой произвольное количество, и количество сред связи, которые используются для передачи, также представляет собой произвольное количество. Кроме того, количество оконечных устройств 1102, как цель распределения данных, также представляет собой произвольное количество. Кроме того, в то время как был описан пример широковещательной передачи из станции 1101 широковещательной передачи, примеры заявки не ограничены этим примером. Система 1100 связи применима для произвольной системы, если только эта система разделяет кодированные данные после масштабируемого кодирования на множество частей модулей уровня и передает данные по множеству линий.
Третья система
Кроме того, масштабируемое кодирование применимо для сохранения кодированных данных, как в примере, показанном на фиг. 41.
В системе 1200 формирования изображений, показанной на фиг. 41, устройство 1201 формирования изображения выполняет масштабируемое кодирование данных изображения, полученных путем формирования объекта 1211, и подает эти данные в устройство 1202 хранения масштабируемых кодированных данных, как масштабируемые кодированные данные (BL+EL) 1221.
Устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, переданные из устройства 1201 формирования изображения, как данные, имеющие качество, в соответствии с ситуациями. Например, в нормальном состоянии, устройство 1202 сохранения масштабируемых кодированных данных выделяет данные основных уровней из масштабируемых кодированных данных (BL+EL) 1221, и сохраняет эти данные, как масштабируемые кодированные данные (BL) 1222 основных уровней, имеющих низкое качество и малое количество данных. С другой стороны, например, в условиях повышенного внимания устройство 1202 хранения масштабируемых кодированных данных сохраняет масштабируемые кодированные данные (BL+EL) 1221, в том виде, как они есть, как данные, имеющие высокое качество и большое количество данных.
С помощью такого способа устройство 1202 хранения масштабируемых кодированных данных может сохранять изображения, имеющие высокое качество только в соответствии с необходимостью. В соответствии с этим, такой способ подавляет увеличение количества данных при предотвращении снижения достоинства изображений, связанных с ухудшением качества изображения. В результате, может быть улучшена эффективность использования области памяти.
Например, здесь предполагается, что устройство 1201 формирования изображения представляет собой камеру мониторинга. Когда цель мониторинга (такая, как нарушитель) не присутствует в снятом изображении (то есть, при нормальных условиях), высока вероятность того, что содержание снятого изображения не будет важным. В этом случае, уменьшение количества данных имеет приоритет, и данные изображения (масштабируемые кодированные данные) сохраняют, как данные низкого качества. С другой стороны, когда цель мониторинга присутствует в снятом изображении, как объект 1211 (то есть, в состоянии повышенного внимания), высока вероятность того, что содержание снятого изображения будет важным. В соответствии с этим, качество изображения имеет приоритет, и данные изображения (масштабируемые кодированные данные) сохраняют, как данные высокого качества.
Является ли состояние нормальным состоянием или состоянием повышенного внимания, может быть определено на основе анализа изображения, выполняемого устройством 1202 хранения масштабируемых кодированных данных. В качестве альтернативы, устройство 1201 формирования изображения может определять состояние и передавать результат определения в устройство 1202 хранения масштабируемых кодированных данных.
Кроме того, основание для определения, является ли состояние нормальным состоянием или состоянием повышенного внимания, устанавливают произвольно, и содержание изображения, соответствующего этому основанию для определения, устанавливают произвольно. Само собой разумеется, что другие состояния, кроме содержания изображения, могут быть установлены, как основание для определения. Например, переключение может быть выполнено в соответствии с уровнем записанного голоса, формы колебаний и т.п., может быть выполнены через заданные интервалы времени или может быть выполнено в соответствии инструкциями, поступающими снаружи, такими как инструкции пользователя.
Кроме того, в то время, как выше был описан пример, в котором переключают два состояния, такие как нормальное состояние и состояние повышенного внимания, количество состояний может представлять собой произвольное количество. Например, можно переключать три или больше состояний, такие как нормальное состояние, состояние некоторого внимания, и состояние внимания и состояние повышенного внимания. Однако максимальное количество состояний для переключения, зависит от количества уровней масштабируемых кодированных данных.
Кроме того, устройство 1201 формирования изображения может определять количество уровней масштабируемого кодирования, в соответствии с состояниями. Например, при нормальном состоянии устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL) 1222 основных уровней, имеющие низкое качество и малое количество данных, и подавать генерируемые данные в устройство 1202 сохранения масштабируемых кодированных данных. Кроме того, в состоянии повышенного внимания, например, устройство 1201 формирования изображения может генерировать масштабируемые кодированные данные (BL+EL) 1221 основных уровней, имеющих высокое качество и большое количество данных, и подавать сгенерированные данные в устройство 1202 хранения масштабируемых кодированных данных.
В соответствии с представленным выше примером, была описана камера мониторинга. Однако назначение использования системы 1200 формирования изображений представляет собой произвольное назначение, и не ограничено камерой мониторинга.
Кроме того, в этом описании, система относится к группе из множества составляющих элементов (устройств, модулей (частей) и т.п.), включающих в себя, как структуру, которая содержит все составляющие элементы в одном и том же корпусе, так и структуру, которая содержит не все составляющие элементы в одном и том же корпусе. В соответствии с этим, множество устройств, содержащихся в отдельных корпусах и соединенных друг с другом через сеть, и устройство, содержащее множество модулей в корпусе, оба были определены, как система.
Кроме того, варианты осуществления, в соответствии с настоящей технологией, не ограничены упомянутыми выше вариантами осуществления. Различные модификации могут быть выполнены без выхода за пределы объема предмета изобретения, в соответствии с настоящей технологией.
Например, настоящая технология может иметь форму облачных вычислений, в которой разделяется и совместно используется одна функция между множеством устройств через сеть, для выполнения обработки.
Кроме того, соответствующие этапы, описанные совместно предшествующими блок-схемами последовательности операций, могут быть выполнены одним устройством, или могут быть выполнены совместно в множестве устройств.
Кроме того, когда множество процессов содержится на одном этапе, это множество процессов, содержащихся на одном этапе, может быть выполнено одним устройством, или может быть выполнено совместно множеством устройств.
Кроме того, настоящая технология может иметь следующие составляющие.
(1) Устройство декодирования, включающее в себя:
модуль компенсации движения для генерирования изображения прогнозирования, посредством выполнения, для каждого из элементов мозаичного изображения, компенсации движения опорного изображения в пределах размещенных в том же месте элементов мозаичного изображения, на основе информации о возможности разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении кадра указанного текущего изображения на элементы мозаичного изображения и декодирования; и
модуль декодирования для декодирования кодированных данных с использованием изображения прогнозирования, генерируемого модулем компенсации движения.
(2) Устройство декодирования по (1), дополнительно включающее в себя:
модуль генерирования вектора, выполненный с возможностью генерирования вектора движения кодированных данных из информации вектора движения, использующей вектор движения для изображения, расположенного рядом с текущим изображением, и содержащегося в том же элементе мозаичного изображения, что и элемент мозаичного изображения текущего изображения, при этом
модуль компенсации движения выполнен с возможностью осуществления компенсации движения опорного изображения для каждого из элементов мозаичного изображения на основе информации о возможности разделения элемента мозаичного изображения и вектора движения, генерируемого модулем генерирования вектора движения.
(3) Устройство декодирования по (1) или (2), дополнительно включающее в себя:
модуль фильтра, выполненный с возможностью осуществления фильтрации опорного изображения для каждого модуля из элементов мозаичного изображения,
при этом
модуль фильтра выполнен с возможностью осуществления фильтрации опорного изображения для каждого из элементов мозаичного изображения, на основе информации фильтра, представляющей, что фильтрация опорного изображения не выполняется между элементами мозаичного изображения, а
модуль компенсации движения выполнен с возможностью осуществления для каждого из элементов мозаичного изображения компенсации движения опорного изображения, полученного после фильтрации, модулем фильтра, на основе информации разделения элемента мозаичного изображения и информации вектора движения.
(4) Устройство декодирования по (3), описанному выше, в котором модуль фильтра выполнен с возможностью осуществления для каждого из элементов мозаичного изображения, фильтрации опорного изображения, с использованием параметра фильтрации, ассоциированного с изображением, содержащимся в расположенном рядом соответствующем элементе мозаичного изображения, на основе информации фильтра и информации совместного использования параметра, представляющей, что параметр не используется совместно между элементами мозаичного изображения.
(5) Устройство декодирования по любому из (1) - (4), в котором разделение кадра на элементы мозаичного изображения, содержащегося в той же последовательности, является таким же разделением.
(6) Устройство декодирования по любому из (1) - (5), в котором каждый из элементов мозаичного изображения включает в себя один или более срезов.
(7) Устройство декодирования по любому из (1) - (6), характеризующееся тем, что выполнено с возможностью:
осуществления разделения изображение на два элемента мозаичного изображения и декодирования,
изображение одного из элементов мозаичного изображения представляет собой изображение для левого глаза, составляющего 3D изображение, а
изображение другого элемента мозаичного изображения представляет собой изображение для правого глаза, составляющего 3D изображение.
(8) Способ декодирования, включающий в себя:
этап компенсации движения, выполняемый устройством декодирования, на котором генерирует изображение прогнозирования, посредством выполнения, для каждого из элементов мозаичного изображения, компенсации движения опорного изображения в пределах размещенных в том же месте элементов мозаичного изображения на основе информации разделения элемента мозаичного изображения, указывающей, что декодирование разрешено для каждого из элементов мозаичного изображения, и информации о векторе движения, представляющей вектор движения, используемый для генерирования кодированных данных текущего целевого изображения декодирования, при разделении кадра указанного текущего изображения на элементы мозаичного изображения и декодирования; и
этап декодирования, выполняемый устройством декодирования, на котором декодируют кодированные данные, с использованием изображения прогнозирования, генерируемого в результате обработки на этапе компенсации движения.
(9) Устройство кодирования, включающее в себя:
модуль компенсации движения для генерирования изображения прогнозирования, посредством осуществления компенсации движения опорного изображения, во время, отличающее от времени целевого текущего изображения кодирования, на основе вектора движения, детектируемого в пределах элемента мозаичного изображения, когда кадр указанного текущего изображения разделен на элементы мозаичного изображения и кодирован;
модуль кодирования для кодирования текущего изображения и генерирования кодированных данных, с использованием изображения прогнозирования, генерируемого модулем компенсации движения;
модуль установки для установки информации о возможности разделения элемента мозаичного изображения, указывающий, что декодирование разрешено для каждого из модулей элементов мозаичного изображения; и
модуль передачи для передачи кодированных данных, генерируемых модулем кодирования, и информации о возможности разделения элемента мозаичного изображения, установленной модулем установки.
(10) Устройство кодирования по (9), дополнительно включающее в себя:
модуль генерирования вектора, выполненный с возможностью генерирования информации о векторе движения на основе вектора движения для изображения, расположенного рядом с текущим изображением и содержащегося в том же элементе мозаичного изображения, что и элемент мозаичного изображения текущего изображения, и вектора движения текущего изображения.
(11) Устройство кодирования по (9) или (10), дополнительно включающее в себя:
модуль фильтра, выполненный с возможностью фильтрации опорного изображения для каждого модуля из элементов мозаичного изображения,
при этом
модуль компенсации движения выполнен с возможностью осуществления компенсации движения опорного изображения, полученного после фильтрации модулем фильтра, с использованием текущего изображения и опорного изображения, полученного после фильтрации модулем фильтра, на основе вектора движения, обнаруживаемого в элементе мозаичного изображения,
модуль установки, выполненный с возможностью установки информации фильтра, представляющей, что фильтрация опорного изображения не выполняется между элементами мозаичного изображения, и
модуль передачи, выполненный с возможностью передачи информации фильтра, установленной модулем установки.
(12) Устройство кодирования по любому из (9) - (11), в котором
модуль фильтра выполнен с возможностью осуществления для каждого из элементов мозаичного изображения, фильтрации опорного изображения, с использованием параметра изображения, содержащегося в соответствующем элементе мозаичного изображения,
модуль установки выполнен с возможностью установки информации совместного использования параметров, представляющей, что параметр не используется совместно элементами мозаичного изображения, и
модуль передачи выполнен с возможностью передачи информации совместного использования параметра, установленной модулем установки.
(13) Устройство кодирования по любому из (9) - (12), в котором разделение кадра на элементы мозаичного изображения, содержащегося в той же последовательности, является тем же разделением.
(14) Устройство кодирования по любому из (9) - (13), в котором каждый из элементов мозаичного изображения включает в себя один или более срезов.
(15) Устройство кодирования по любому из (9) - (14), в котором:
изображение разделено на два элементов мозаичного изображения и кодировано,
изображение одного из элементов мозаичного изображения представляет собой изображение для левого глаза, составляющего 3D изображение, а
изображение другого элемента мозаичного изображения представляет собой изображение для правого глаза, составляющего 3D изображение.
(16) Способ кодирования, включающий в себя:
этап компенсации движения, выполняемый устройством кодирования, на котором генерируют изображение прогнозирования, посредством осуществления компенсации движения опорного изображения, во время, отличающее от времени целевого текущего изображения кодирования, на основе вектора движения, обнаруживаемого в пределах элемента мозаичного изображения, когда изображение текущего изображения разделено на элементы мозаичного изображения и кодировано;
этап кодирования, выполняемый устройством кодирования, на котором кодируют текущее изображение и генерируют кодированные данные, с использованием изображения прогнозирования, генерируемого в результате обработки на этапе компенсации движения;
этап установки, выполняемый устройством кодирования, на котором устанавливают информацию о возможности разделения элемента мозаичного изображения, указывающую, что декодирование разрешено для каждого из модулей элементов мозаичного изображения; и
этап передачи, выполняемый устройством кодирования, на котором передают кодированные данные, генерируемые в результате обработки на этапе кодирования, и информацию о возможности разделения элемента мозаичного изображения, установленную в результате обработки на этапе установки.
СПИСОК НОМЕРОВ ССЫЛОЧНЫХ ПОЗИЦИЙ
50 Устройство кодирования
55 Модуль установки
56 Модуль передачи
71 Модуль расчета
74 Модуль кодирования без потерь
79 Фильтр удаления блочности
83A Модуль обнаружения движения
83B Модуль компенсации движения
90 Устройство декодирования
91 Модуль приема
102 Модуль декодирования без потерь
105 Модуль суммирования
106 Фильтр удаления блочности
110 Модуль компенсации движения
140 Устройство декодирования
162-1 – 162- m Устройство кодирования
164-1 - 162- m Устройство декодирования.
| название | год | авторы | номер документа |
|---|---|---|---|
| УСТРОЙСТВО ДЕКОДИРОВАНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ И УСТРОЙСТВО КОДИРОВАНИЯ И СПОСОБ КОДИРОВАНИЯ | 2013 |
|
RU2606303C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО | 2020 |
|
RU2803531C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО | 2020 |
|
RU2803536C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО | 2020 |
|
RU2779152C1 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО | 2020 |
|
RU2803530C2 |
| СПОСОБ И УСТРОЙСТВО ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО | 2020 |
|
RU2803081C2 |
| КОДЕР, ДЕКОДЕР, СПОСОБ КОДИРОВАНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ | 2019 |
|
RU2808005C2 |
| ДЕКОДЕР, СПОСОБ КОДИРОВАНИЯ И СПОСОБ ДЕКОДИРОВАНИЯ | 2019 |
|
RU2795260C2 |
| УСТРОЙСТВО КОДИРОВАНИЯ, СПОСОБ КОДИРОВАНИЯ, УСТРОЙСТВО ДЕКОДИРОВАНИЯ, СПОСОБ ДЕКОДИРОВАНИЯ И ПРОГРАММА | 2006 |
|
RU2412556C2 |
| УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЯ | 2014 |
|
RU2669685C2 |
Изобретение относится к области вычислительной техники. Техническим результатом является возможность выполнения кодирования и декодирования в направлении времени независимо для каждого элемента мозаичного изображения. Раскрыто устройство декодирования, включающее в себя: модуль генерирования изображения прогнозирования для генерирования изображения прогнозирования, посредством выполнения компенсации движения опорного изображения с так называемыми элементами мозаичного изображения, в случае когда кадр текущего изображения разделен на элементы мозаичного изображения и декодирован; и модуль декодирования для декодирования кодированных данных с использованием изображения прогнозирования, сгенерированного модулем генерирования изображения прогнозирования. 4 н. и 11 з.п. ф-лы, 41 ил.
1. Устройство декодирования, включающее в себя:
модуль генерирования изображения прогнозирования для генерирования изображения прогнозирования, посредством выполнения компенсации движения опорного изображения с так называемыми элементами мозаичного изображения, в случае когда кадр текущего изображения разделен на элементы мозаичного изображения и декодирован; и
модуль декодирования для декодирования кодированных данных с использованием изображения прогнозирования, сгенерированного модулем генерирования изображения прогнозирования.
2. Устройство декодирования по п. 1, в котором модуль генерирования изображения прогнозирования выполнен с возможностью генерирования изображения прогнозирования, посредством выполнения компенсации движения на основе информации ограничения элемента мозаичного изображения указывающего, что опорное изображение ограничено в указанный так называемый элемент мозаичного изображения.
3. Устройство декодирования по п. 2, дополнительно включающее в себя:
модуль генерирования вектора, выполненный с возможностью генерирования вектора движения кодированных данных из информации вектора движения, с использованием вектора движения для изображения, расположенного рядом с текущим изображением, и содержащегося в том же элементе мозаичного изображения, что и элемент мозаичного изображения текущего изображения, при этом
модуль генерирования изображения прогнозирования выполнен с возможностью генерирования изображения предсказания, посредством компенсации движения, на основе информации ограничения элемента мозаичного изображения и вектора движения, сгенерированного модулем генерирования вектора движения.
4. Устройство декодирования по п. 1, дополнительно включающее в себя:
модуль фильтра, выполненный с возможностью осуществления фильтрации опорного изображения для каждого модуля элементов мозаичного изображения, при этом
модуль фильтра выполнен с возможностью осуществления фильтрации опорного изображения для каждого из элементов мозаичного изображения на основе информации фильтра, представляющей, что фильтрация опорного изображения не выполняется между элементами мозаичного изображения, а
модуль компенсации движения выполнен с возможностью осуществления, для каждого из элементов мозаичного изображения, компенсации движения опорного изображения, полученного после фильтрации модулем фильтра на основе информации разделения элемента мозаичного изображения и информации вектора движения.
5. Устройство декодирования по п. 4, в котором модуль фильтра выполнен с возможностью осуществления, для каждого из элементов мозаичного изображения, фильтрации опорного изображения с использованием параметра для фильтрации, ассоциированного с изображением, содержащимся в соответствующем элементе мозаичного изображения на основе информации фильтра и информации совместного использования параметра, представляющей, что параметр не используется совместно элементами мозаичного изображения.
6. Устройство декодирования по п. 1, в котором
разделение кадра на элементы мозаичного изображения, содержащегося в одной и той же последовательности, представляет собой одно и то же разделение.
7. Устройство декодирования по п. 1, в котором, когда
кадр разделен на два элемента мозаичного изображения и декодирован,
изображение одного из элементов мозаичного изображения представляет собой изображение для левого глаза, составляющего 3D изображение, и
изображение другого элемента мозаичного изображения представляет собой изображение для правого глаза, составляющего 3D изображение.
8. Способ декодирования, содержащий:
этап компенсации движения, выполняемый устройством декодирования, на котором генерируют изображение прогнозирования, посредством выполнения компенсации движения опорного изображения с так называемыми элементами мозаичного изображения, в случае когда кадр текущего изображения разделен на элементы мозаичного изображения и декодирован; и
этап декодирования, выполняемый устройством декодирования, на котором декодируют кодированные данные, с использованием изображения прогнозирования, сгенерированного на этапе генерирования изображения прогнозирования.
9. Устройство кодирования, включающее в себя:
модуль генерирования изображения прогнозирования для генерирования изображения прогнозирования посредством выполнения компенсации движения опорного изображения с так называемыми элементами мозаичного изображения, в случае когда кадр текущего изображения разделен на элементы мозаичного изображения и кодирован; и
модуль кодирования для кодирования текущего изображения и генерирования кодированных данных, с использованием изображения прогнозирования, сгенерированного модулем генерирования изображения прогнозирования.
10. Устройство кодирования по п. 9, в котором модуль генерирования изображения прогнозирования выполнен с возможностью генерирования изображения прогнозирования посредством выполнения компенсации движения на основе информации ограничения элемента мозаичного изображения, указывающего, что опорное изображение ограничено в указанный так называемый элемент мозаичного изображения, а
модуль кодирования выполнен с возможностью кодирования информации ограничения элемента мозаичного изображения и генерирования кодированных данных, включающих в себя информации ограничения элемента мозаичного изображения.
11. Устройство кодирования по п. 10, дополнительно включающее в себя:
модуль генерирования вектора, выполненный с возможностью генерирования информации вектора движения на основе вектора движения изображения, расположенного рядом с текущим изображением и содержащегося в том же элементе мозаичного изображения, что и элемент мозаичного изображения текущего изображения.
12. Устройство кодирования по п. 10, дополнительно включающее в себя:
модуль передачи, выполненный с возможностью передачи кодированных данных сгенерированных модулем кодирования.
13. Устройство кодирования по п. 9, в котором
разделение кадра на элементы мозаичного изображения, содержащегося в одной и той же последовательности, представляет собой одно и то же разделение.
14. Устройство кодирования по п. 9, в котором, когда
кадр разделен на два элемента мозаичного изображения и кодирован,
изображение одного из элементов мозаичного изображения представляет собой изображение для левого глаза, составляющего 3D изображение, и
изображение другого элемента мозаичного изображения представляет собой изображение для правого глаза, составляющего 3D изображение.
15. Способ кодирования, содержащий:
этап генерирования изображения прогнозирования, выполняемый устройством кодирования, на котором генерируют изображение прогнозирования, посредством выполнения компенсации движения опорного изображения с так называемыми элементами мозаичного изображения, в случае когда кадр текущего изображения разделен на элементы мозаичного изображения и кодирован; и
этап кодирования, выполняемый устройством кодирования, на котором кодируют текущее изображение и генерируют кодированные данные с использованием изображения прогнозирования, сгенерированного на этапе генерирования изображения прогнозирования.
| Arild Fuldseth et al, "Tiles", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011 | |||
| Chia-Yang Tsai et al, "AHG4: Non-cross-tiles loop filtering for independent tiles", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 |
