УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2019 года по МПК H04N19/86 H04N19/117 G06K9/40 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений.

Уровень техники

H.264/AVC, один из стандартов схемы кодирования изображений, применяет фильтр удаления блочности к границе блока в объединениях блоков, каждый из которых содержит, например, 4×4 пикселей, что нужно для предотвращения ухудшения качества изображения из-за блочности изображения при его кодировании. Фильтр удаления блочности требует большого объема обработки и может требовать, например, до 50% всего объема обработки при декодировании изображений.

Стандартная работа для высокоэффективного видеокодирования (HEVC), системы кодирования изображений следующего поколения, предлагает применение фильтра удаления блочности в объединениях блоков, каждый из которых содержит 8×8 пикселей или более в соответствии с JCTVC-A119 (смотри документ 1, который не относится к патентной литературе 1). Технология, предложенная в JCTVC-A119, увеличивает размер блока как минимального элемента для применения фильтра удаления блочности с целью параллельного осуществления обработок фильтрации для границ блока в том же направлении в одном макроблоке.

Список цитируемой литературы

Непатентная литература

Непатентная литература: К Угур (Nokia), К.Р. Андерссон (LM Ericsson), А. Фалдсет (Tandberg Telecom), "JCTVC-A119: предложение по технологии видеокодирования, Tandberg, Nokia и Ericsson", документы первого собрания Объединенной команды по видеокодированию (JCT-VC), Дрезден, Германия, 15-23 апреля, 2010. K. Ugur (Nokia), K.R. Andersson (LM Ericsson), A. Fuldseth (Tandberg Telecom), "JCTVC-A119: Video coding technology proposal by Tandberg, Nokia, and Ericsson". Documents of the first meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Dresden, Germany, 15-23 April, 2010.

Раскрытие изобретения

Техническая задача

Тем не менее, технология, предложенная в JCTVC-A119, не разрешает проблему зависимости между обработкой вертикальных границ блока и обработкой горизонтальных границ блока. До сих пор трудно параллельно осуществить обработку границ блока в различных направлениях в одном макроблоке (или одном кодируемом элементе) и осуществить параллельную обработку между макроблоками. Соответственно, описанная выше технология не может успешно решить проблемы задержки и уменьшить скорости обработки данных из-за большого объема обработки при применении фильтра удаления блочности.

Технология, соответствующая этому изобретению, направлена на то, чтобы предоставить устройство обработки изображений и способ обработки изображений, которые способны обеспечить параллельную обработку при применении фильтра удаления блочности.

Решение задачи

В соответствии с вариантом осуществления настоящего изобретения предложено устройство обработки изображений, содержащее: секцию декодирования для декодирования изображения из закодированного потока, секцию определения для осуществления обработок определения, направленных на определение, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, декодируемом секцией декодирования, секцию фильтрации для фильтрации удаления блочности к соседним блокам, для которых в секции определения определена необходимость фильтрации удаления блочности, и секцию управления для обеспечения выполнения секцией определения обработки обработок для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей.

Как правило, устройство обработки изображений может быть реализовано в виде устройства декодирования изображений для декодирования изображения.

Далее в соответствии с вариантом осуществления настоящего изобретения предложен способ обработки изображений, включающий в себя этапы, на которых: декодируют изображение из закодированного потока, выполняют обработку определения для определения, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в декодируемом изображении, применяют фильтр удаления блочности к соседним блокам, для которых при обработке определения была определена необходимость применения фильтра удаления блочности, и управляют обработкой определения, для выполнения обработки определения для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей.

Далее в соответствии с вариантом осуществления настоящего изобретения предложено устройство обработки изображений, содержащее: секцию определения для выполнения обработки определения для определения, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, декодируемом локально, при кодировании изображения, подлежащего кодированию; секцию фильтрации для фильтрации удаления блочности соседних блоков, для которых в секции определения определена необходимость фильтрации удаления блочности, секцию управления для обеспечения выполнения секцией определения обработки для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей, и секцию кодирования для кодирования изображения, подлежащего кодированию, с использованием изображения, прошедшего фильтрацию с помощью секции фильтрации.

Как правило, устройство обработки изображений может быть реализовано в виде устройства кодирования изображений для кодирования изображения.

В соответствии с некоторым вариантом осуществления настоящего изобретения предложен способ обработки изображений, включающий в себя этапы, на которых: выполняют обработку определения, направленную на определение, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, которое локально декодируют, когда кодируют изображение, подлежащее кодированию, применяют фильтр удаления блочности к соседним блокам, для которых, при обработке определения, была определена необходимость применения фильтрации удаления блочности, управляют процессами определения так, что выполняют обработку определения для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей, и кодируют изображение, подлежащее кодированию, с использованием изображения, прошедшего фильтрацию с помощью фильтра удаления блочности.

Полезные эффекты изобретения

Как описано выше, устройство обработки изображений и способ обработки изображений, соответствующие варианту осуществления настоящего изобретения, дополнительно улучшают параллельную обработку при использовании фильтра удаления блочности.

Краткое описание чертежей

Фиг. 1 - вид, показывающий структурную схему одного примера структуры устройства кодирования изображений в соответствии с вариантом осуществления изобретения;

фиг. 2 - вид, показывающий структурную схему одного примера структуры устройства декодирования изображений в соответствии с вариантом осуществления изобретения;

фиг. 3 - пояснительный вид, показывающий один пример соседних пикселей вокруг границы;

фиг. 4 - пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с существующей технологией;

фиг. 5 - пояснительный вид, показывающий пиксели, обновленные посредством обработки фильтрации;

фиг. 6 - пояснительный вид, показывающий определение краев для описания варианта осуществления изобретения;

фиг. 7 - пояснительный вид, иллюстрирующий параллельную обработку в соответствии с существующей технологией.

фиг. 8 - первый пояснительный вид, иллюстрирующий зависимость между обработками, соответствующими существующей технологии;

фиг. 9 - второй пояснительный вид, иллюстрирующий зависимость между обработками, соответствующими существующей технологии;

фиг. 10 - пояснительный вид, иллюстрирующий последовательность обработок в соответствии с существующей технологией;

фиг. 11 - первый пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с первым демонстрационным примером;

фиг. 12 - второй пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с первым демонстрационным примером;

фиг. 13 - пояснительный вид, показывающий первый пример последовательности операций обработки;

фиг. 14 - пояснительный вид, показывающий второй пример последовательности операций обработки;

фиг. 15 - структурная схема, иллюстрирующая подробную структуру фильтра удаления блочности в соответствии с первым демонстрационным примером;

фиг. 16 - структурная схема, показывающая подробную структуру секции определения;

фиг. 17 - пояснительный вид, показывающий соседние блоки вокруг границы среза;

фиг. 18 - пояснительный вид, показывающий первый пример последовательности обработок, для каждого среза;

фиг. 19 - пояснительный вид, показывающий второй пример последовательности обработок, для каждого среза;

фиг. 20 - вид, показывающий блок-схему, иллюстрирующую первый пример последовательности операций обработки для фильтра удаления блочности в соответствии с вариантом осуществления изобретения;

фиг. 21 - вид, показывающий блок-схему, иллюстрирующую второй пример последовательности операций обработки для фильтра удаления блочности в соответствии с вариантом осуществления изобретения;

фиг. 22 - вид, показывающий блок-схему, иллюстрирующую последовательность операций обработок определения необходимости фильтрации в соответствии с существующей технологией;

фиг. 23 - вид, показывающий структурную схему, иллюстрирующую подробную структуру фильтра удаления блочности, который соответствует второму демонстрационному примеру;

фиг. 24 - пояснительный вид, иллюстрирующий первый и второй примеры технологии определения, предложенной во втором демонстрационном примере;

фиг. 25 - пояснительный вид, иллюстрирующий третий и четвертый примеры технологии определения, предложенной во втором демонстрационном примере;

фиг. 26 - пояснительный вид, иллюстрирующий пятый и шестой примеры технологии определения, предложенной во втором демонстрационном примере;

фиг. 27 - пояснительный вид, показывающий последовательность обработки для каждого LCU;

фиг. 28 - вид, показывающий блок-схему, иллюстрирующую последовательность обработки для каждого LCU;

фиг. 29 - пояснительный вид, иллюстрирующий обзор третьего демонстрационного примера;

фиг. 30 - вид, показывающий структурную схему, иллюстрирующую подробную структуру фильтра удаления блочности в соответствии с третьим демонстрационным примером;

фиг. 31 - пояснительный вид, иллюстрирующий определение веса для взвешенного среднего;

фиг. 32 - пояснительный вид, иллюстрирующий пример веса для взвешенного среднего;

фиг. 33 - пояснительный вид, иллюстрирующий выходное значение пикселя из секции вычисления в соответствии с третьим демонстрационным примером;

фиг. 34 - пояснительный вид, показывающий первый пример последовательности обработки для сравнения;

фиг. 35 - пояснительный вид, показывающий первый пример последовательности обработки, предусмотренный в третьем демонстрационном примере;

фиг. 36 - пояснительный вид, показывающий второй пример последовательности обработки для сравнения;

фиг. 37 - пояснительный вид, показывающий второй пример последовательности обработки, предусмотренный в третьем демонстрационном примере;

фиг. 38 - вид, показывающий блок-схему, иллюстрирующую первый пример последовательности обработки для фильтра удаления блочности в соответствии с третьим демонстрационным примером;

фиг. 39 - вид, показывающий блок-схему, иллюстрирующую последовательность процесса вычисления значений пикселей, который показан на фиг. 38;

фиг. 40 - пояснительный вид, показывающий многопроекционный кодек;

фиг. 41 - пояснительный вид, показывающий процесс кодирования изображений, соответствующий варианту осуществления изобретения, примененному в многопроекционном кодеке;

фиг. 42 - пояснительный вид, показывающий процесс декодирования изображений, соответствующий варианту осуществления изобретения, примененному в многопроекционном кодеке;

фиг. 43 - пояснительный вид, показывающий масштабируемый кодек;

фиг. 44 - пояснительный вид, показывающий процесс кодирования изображений, соответствующий варианту осуществления изобретения, примененному в масштабируемом кодеке;

фиг. 45 - пояснительный вид, показывающий процесс декодирования изображений, соответствующий варианту осуществления изобретения, примененному в масштабируемом кодеке;

фиг. 46 - вид, показывающий схематическую структуру телевизионного устройства;

фиг. 47 - вид, показывающий схематическую структуру устройства мобильного телефона;

фиг. 48 - вид, показывающий схематическую структуру устройства записи/воспроизведения;

фиг. 49 - вид, показывающий схематическую структуру устройства формирования изображений.

Осуществление изобретения

Далее со ссылками на приложенные чертежи будут подробно описаны предпочтительные варианты осуществления настоящего изобретения. Заметим, что в этом описании и на чертежах элементы, выполняющие по существу одинаковые функции и имеющие аналогичную структуру, обозначены одинаковыми ссылочными позициями и их повторное описание опущено.

Описание вариантов осуществления изобретения будет описано в следующем порядке.

1. Обзор устройства

1-1. Устройство кодирования изображений

1-2. Устройство декодирования изображений

2. Существующая технология

2-1. Базовая структура фильтра удаления блочности

2-2. Зависимость между процессами в соответствии с существующей технологией

3. Первый демонстрационный пример

3-1. Пример структуры фильтра удаления блочности

3-2. Последовательность обработки

4. Второй демонстрационный пример

4-1. Пример структуры фильтра удаления блочности

4-2. Последовательность обработки

4-3. Пример процесса для каждого LCU

5. Третий демонстрационный пример

5-1. Обзор

5-2. Пример структуры фильтра удаления блочности

5-3. Пример последовательности обработки

5-4. Последовательность обработки

6. Применение для различных кодеков

6-1. Многопроекционный кодек

6-2. Масштабируемый кодек

7. Примеры применений

8. Подведение итогов

1. Обзор устройства

Далее со ссылками на фиг. 1 и 2 приведено общее описание устройства, в котором применима технология, предложенная в этом описании. Технология, предложенная в этом описании, применима, например, к устройству кодирования изображений и устройству декодирования изображений.

1-1. Устройство кодирования изображений

На фиг. 1 показана структурная схема одного примера структуры устройства 10 кодирования изображений в соответствии с вариантом осуществления изобретения. Как показано на фиг. 1, устройство 10 кодирования изображений содержит секцию 11 А/Ц (аналого-цифрового) преобразования, буфер 12 переупорядочивания, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 накопления, секцию 18 управления скоростью, секцию 21 обратного квантования, секцию 22 обратного ортогонального преобразования, секцию 23 сложения, фильтр 24а удаления блочности, память 25 кадра, переключатель 26, секцию 30 предсказания без компенсации движения, секцию 40 оценки движения и секцию 50 выбора режима.

В секции 11 А/Ц преобразования преобразуют входной сигнал изображения аналогового формата в данные изображения цифрового формата и подают набор данных цифрового изображения в буфер 12 переупорядочивания.

В буфере 12 переупорядочивания изменяют порядок изображений, содержащихся в наборе данных изображения, который поступил из секции 11 А/Ц преобразования. После переупорядочивания изображений в соответствии с группой изображений (GOP) структурой согласно процессу кодирования, в буфере 12 переупорядочивания выводят данные изображения, которые были переупорядочены, на секцию 13 вычитания, секцию 30 предсказания без компенсации движения и секцию 40 оценки движения.

Данные изображения, полученные из буфера 12 переупорядочивания, и предсказанные данные изображения, выбранные в секции 50 выбора режима, подают на секцию 13 вычитания. В секции 13 вычитания вычисляют данные предсказанной ошибки, которые являются разностью между данными изображения, полученными из буфера 12 переупорядочивания, и предсказанными данными изображения, полученными из секции 50 выбора режима, и выводят вычисленные данные предсказанной ошибки на секцию 14 ортогонального преобразования.

В секции 14 ортогонального преобразования осуществляют ортогональное преобразование для данных предсказанной ошибки, полученных от секции 13 вычитания. Ортогональное преобразование, которое осуществляют в секции 14 ортогонального преобразования, может быть, например, дискретным косинусным преобразованием (DCT) или преобразованием Карунена-Лоэва. В секции 14 ортогонального преобразования выводят данные коэффициентов преобразования, полученные в процессе ортогонального преобразования, в секцию 15 квантования.

Данные коэффициентов преобразования, полученные от секции 14 ортогонального преобразования, и сигнал управления скоростью от секции 18 управления скоростью, описанной ниже, подают на секцию 15 квантования. В секции 15 квантования осуществляют квантование данных коэффициентов преобразования и выводят данные коэффициентов преобразования, которые прошли квантование (здесь и далее называются квантованными данными), на секцию 16 кодирования без потерь и секцию 21 обратного квантования. Также в секции 15 квантования переключают параметр квантования (шкала квантования) на основе сигнала управления скоростью от секции 18 управления скоростью, чтобы таким образом изменять скорость передачи квантованных данных, передаваемых на секцию 16 кодирования без потерь.

Квантованные данные, полученные от секции 15 квантования, информацию, описанную ниже и касающуюся предсказания без компенсации движения или предсказания с компенсацией движения и сгенерированную секцией 30 предсказания без компенсации движения или секцией 40 оценки движения и выбранную секцией 50 выбора режима, подают на секцию 16 кодирования без потерь. Информация о предсказании без компенсации движения может содержать информацию о режиме предсказания, которая показывает, например, оптимальный режим предсказания без компенсации движения для каждого блока. Также информация о предсказании с компенсацией движения может содержать, например, информацию о режиме предсказания для предсказания вектора движения для каждого блока, информацию о разности векторов движения, информацию об опорном изображении и подобную информацию.

В секции 16 кодирования без потерь генерируют закодированный поток, что делают путем осуществления процесса кодирования без потерь для квантованных данных. Кодирование без потерь, осуществляемое секцией 16 кодирования без потерь, может быть, например, кодированием с переменной длиной слова или арифметическим кодированием. Более того, в секции 16 кодирования без потерь объединяют информацию о предсказании без компенсации движения или информацию о предсказании с компенсацией движения, которые упомянуты выше, в заголовок закодированного потока (например, заголовок блока, заголовок среза или что-то подобное). Далее в секции 16 кодирования без потерь выводят сгенерированный закодированный поток на буфер 17 накопления.

В буфере 17 накопления временно сохраняют закодированный поток, полученный от секции 16 кодирования без потерь, с использованием носителя информации, такого как полупроводниковая память. Далее в буфере 17 накопления подают на выход накопленный закодированный поток со скоростью, соответствующей полосе частот линии передачи (или линии вывода из устройства 10 кодирования изображений).

В секции 18 управления скоростью отслеживают свободное пространство буфера 17 накопления. Далее в секции 18 управления скоростью генерируют сигнал управления скоростью, соответствующий свободному пространству в буфере 17 накопления, и выводят сгенерированный сигнал управления скоростью на секцию 15 квантования. Например, когда нет большого количества свободного пространства в буфере 17 накопления, в секции 18 управления скоростью генерируют сигнал управления скоростью, предназначенный для снижения скорости передачи квантованных данных. Также, например, когда свободного пространства в буфере 17 накопления достаточно много, в секции 18 управления скоростью генерируют сигнал управления скоростью, предназначенный для повышения скорости передачи квантованных данных.

В секции 21 обратного квантования осуществляют процесс, обратный квантованию, для квантованных данных, полученных от секции 15 квантования. Далее в секции 21 обратного квантования выводят данные коэффициентов преобразования, полученные при обратном квантовании, в секцию 22 обратного ортогонального преобразования.

В секции 22 обратного ортогонального преобразования осуществляют обработку, обратную ортогональному преобразованию, для данных коэффициентов преобразования, полученных из секции 21 обратного квантования, что делают с целью восстановления данных предсказанной ошибки. Далее в секции 22 обратного ортогонального преобразования выводят восстановленные данные предсказанной ошибки на секцию 23 сложения.

В секции 23 сложения складывают восстановленные данные предсказанной ошибки, полученные от секции 22 обратного ортогонального преобразования, и предсказанные данные изображения, полученные от секции 50 выбора режима, что делают для генерирования данных декодированного изображения. Далее в секции 23 сложения выводят сгенерированные данные декодированного изображения на фильтр 24а удаления блочности и память 25 кадра.

В фильтре 24а удаления блочности осуществляют обработки фильтрации, направленные на уменьшение блочности изображения, которая возникает при кодировании изображений. Например, в фильтре 24а удаления блочности определяют необходимость фильтрации каждой границы блока для данных декодированного изображения, поданных от секции 23 сложения, и применяют фильтр удаления блочности к границе, для которой определена необходимость фильтрации. Также от секции 23 сложения на фильтр 24а удаления блочности подают информацию, используемую для определения необходимости фильтрации (например, информацию о режиме, информацию о коэффициентах преобразования и информацию о векторе движения), а также данные декодированного изображения. После фильтрации из данных декодированного изображения исключают блочность и с помощью фильтра 24а удаления блочности подают данные декодированного изображения в память 25 кадра. Обработка фильтром 24а удаления блочности будет подробнее описана ниже.

В памяти 25 кадра сохраняют с использованием носителя информации данные декодированного изображения, полученные от секции 23 сложения, и данные декодированного изображения после фильтрации, полученные от фильтра 24 удаления блочности.

В переключателе 26 считывают из памяти 25 кадра данные декодированного изображения до фильтрации, то есть данные, которые используют для предсказания без компенсации движения, и подают считанные данные декодированного изображения на секцию 30 предсказания без компенсации движения в качестве данных опорного изображения. Также в переключателе 26 считывают из памяти 25 кадра данные декодированного изображения после фильтрации, которые используют для предсказания с компенсацией движения, и подают считанные данные декодированного изображения на секцию 40 оценки движения в качестве данных опорного изображения.

В секции 30 предсказания без компенсации движения осуществляют процесс предсказания без компенсации движения в каждом режиме предсказания без компенсации движения на основе кодируемых данных изображения, которые получены из буфера 12 переупорядочивания, и данных декодированного изображения, полученных через переключатель 26. Например, в секции 30 предсказания без компенсации движения оценивают результат предсказания для каждого режима предсказания без компенсации движения с использованием заданной целевой функции. Далее в секции 30 предсказания без компенсации движения выбирают в качестве оптимального режима предсказания без компенсации движения режим предсказания без компенсации движения, для которого значение целевой функции принимает наименьшее значение, то есть режим предсказания без компенсации движения с наибольшей степенью сжатия. Более того, в секции 30 предсказания без компенсации движения выводят в секцию 50 выбора режима информацию о режиме предсказания, показывающую оптимальный режим предсказания без компенсации движения, предсказанные данные изображения и информацию о предсказании без компенсации движения, такую как значение целевой функции.

В секции 40 оценки движения осуществляют процесс предсказания с компенсацией движения (процесс предсказания между кадрами) на основе данных изображения для кодирования, поданных от буфера 12 переупорядочивания, и данных декодированного изображения, проданных через переключатель 26. Например, в секции 40 оценки движения оценивают результат предсказания для каждого режима предсказания без компенсации движения с использованием заданной целевой функции. Далее в секции 40 оценки движения выбирают оптимальный режим предсказания, а именно режим предсказания, который минимизирует значение целевой функции или максимизирует степень сжатия. В секции 40 оценки движения генерируют предсказанные данные изображения в соответствии с оптимальным режимом предсказания. Секция 40 оценки движения подает на секцию 50 выбора режима информацию о предсказании с компенсацией движения, такую как информация о режиме предсказания, указывающая оптимальный режим предсказания без компенсации движения, предсказанные данные изображения и значение целевой функции.

В секции 50 выбора режима сравнивают значение целевой функции, связанное с предсказанием без компенсации движения, полученным от секции 30 предсказания без компенсации движения, и значение целевой функции, связанное с предсказанием с компенсацией движения, полученным от секции 40 оценки движения. Далее в секции 50 выбора режима выбирают способ предсказания с наименьшим значением целевой функции из предсказания без компенсации движения и предсказания с компенсацией движения. В случае выбора предсказания без компенсации движения с помощью секции 50 выбора режима выдают информацию о предсказании без компенсации движения на секцию 16 кодирования без потерь и также подают предсказанные данные изображения на секцию 13 вычитания и секцию 23 сложения. Также в случае выбора предсказания с компенсацией движения с помощью секции 50 выбора режима подают описанную выше информацию о предсказании с компенсацией движения на секцию 16 кодирования без потерь и также подают предсказанные данные изображения на секцию 13 вычитания и секцию 23 сложения.

1-2. Устройство декодирования изображений

На фиг. 2 показана структурная схема одного примера структуры устройства 60 декодирования изображений в соответствии с вариантом осуществления изобретения. Как показано на фиг. 2, устройство 60 декодирования изображений содержит буфер 61 накопления, секцию 62 декодирования без потерь, секцию 63 обратного квантования, секцию 64 обратного ортогонального преобразования, секцию 65 сложения, фильтр 66 удаления блочности, буфер 67 сортировки, секцию 68 Ц/А (цифро-аналогового) преобразования, память 69 кадра, переключатели 70 и 71, секцию 80 предсказания без компенсации движения и секцию 90 компенсации движения.

В буфере 61 накопления с использованием носителя информации временно хранят закодированный поток, полученный через линию передачи.

В секции 62 декодирования без потерь декодируют закодированный поток, полученный из буфера 61 накопления, что делают в соответствии со способом кодирования, использованным во время кодирования. Также в секции 62 декодирования без потерь декодируют информацию, объединенную в области заголовка закодированного потока. Информация, которая объединена в области заголовка закодированного потока, может содержать, например, информацию о предсказании без компенсации движения и информацию о предсказании с компенсацией движения в заголовке блока. В секции 62 декодирования без потерь выводят на секцию 80 предсказания без компенсации движения информацию о предсказании без компенсации движения. Также в секции 62 декодирования без потерь выводят на секцию 90 компенсации движения информацию о предсказании с компенсацией движения.

В секции 63 обратного квантования осуществляют преобразование, обратное квантованию, для квантованных данных, которые были декодированы в секции 62 декодирования без потерь. В секции 64 обратного ортогонального преобразования генерируют данные предсказанной ошибки путем осуществления преобразования, обратного ортогональному преобразованию, для данных коэффициентов преобразования, полученных от секции 63 обратного квантования, что делают в соответствии со способом ортогонального преобразования, используемого во время кодирования. Далее секция 64 обратного ортогонального преобразования выводит на секцию 65 сложения сгенерированные данные предсказанной ошибки.

В секции 65 сложения складывают данные предсказанной ошибки, полученные от секции 64 обратного ортогонального преобразования, и предсказанные данные изображения, полученные от переключателя 71, что делают для генерирования данных декодированного изображения. Далее секция 65 сложения выводит сгенерированные данные декодированного изображения на фильтр 24b удаления блочности и память 69 кадра.

В фильтре 24b удаления блочности осуществляют обработки фильтрации, направленные на уменьшение блочности изображения, которая видна в декодированном изображении. В фильтре 24b удаления блочности определяют необходимость фильтрации каждой границы, например, блока для данных декодированного изображения, поданных от секции 65 сложения, и применяют фильтр удаления блочности к границе, для которой определена необходимость фильтрации. Также от секции 65 сложения на фильтр 24b удаления блочности подают информацию, используемую для определения необходимости фильтрации, а также данные декодированного изображения. После фильтрации из данных декодированного изображения исключают блочность изображения и с помощью фильтра 24b удаления блочности подают данные декодированного изображения в буфер 67 переупорядочивания и память 69 кадра. Обработка фильтра 24b удаления блочности будет подробнее описана ниже.

В буфере 67 переупорядочивания генерируют набор данных изображения во временной последовательности, что делают путем переупорядочивания изображений, полученных от фильтра 24b удаления блочности. Далее в буфере 67 переупорядочивания выводят на секцию 68 Ц/А преобразования сгенерированные данные изображения.

В секции 68 Ц/А преобразования преобразуют находящиеся в цифровом формате данные изображения, полученные от буфера 67 переупорядочивания, в сигнал изображения аналогового формата. Далее работа секции 68 Ц/А преобразования приводит к отображению изображения путем вывода аналогового сигнала с изображением на дисплей (не показан), который, например, соединен с устройством 60 декодирования изображений.

В памяти 69 кадра используют носитель данных для хранения данных декодированного изображения до фильтрации, полученных от секции 65 сложения, и данных декодированного изображения после фильтрации, полученных от фильтра 24 удаления блочности.

Переключатель 70 переключает место назначения вывода данных изображения из памяти 69 кадра между секцией 80 предсказания без компенсации движения и секцией 90 компенсации движения для каждого блока в изображении, что делают в соответствии с информацией о режиме, полученной секцией 62 декодирования без потерь. Например, в случае установки режима предсказания без компенсации движения, переключатель 70 в качестве данных опорного изображения выводит на секцию 80 предсказания без компенсации движения данные декодированного изображения до фильтрации, которые были поданы из памяти 69 кадра. Также в случае установки режима предсказания с компенсацией движения, переключатель 70 в качестве данных опорного изображения выводит на секцию 90 компенсации движения данные декодированного изображения после фильтрации, которые были поданы из памяти 69 кадра.

Переключатель 71 переключает источник вывода для предсказанных данных изображения, которые необходимо подать на секцию 65 сложения, между секцией 80 предсказания без компенсации движения и секцией 90 компенсации движения для каждого блока в изображении, что делают в соответствии с информацией о режиме, полученной в секции 62 декодирования без потерь. Например, в случае установки режима предсказания без компенсации движения, переключатель 71 подает на секцию 65 сложения предсказанные данные изображения, поданные на выход секцией 80 предсказания без компенсации движения. В случае установки режима предсказания с компенсацией движения, переключатель 71 подает на секцию 65 сложения предсказанные данные изображения, поданные на выход от секции 90 компенсации движения.

В секции 80 предсказания без компенсации движения осуществляют предсказание «в экране» значения пикселя на основе информации о предсказании без компенсации движения, полученной от секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадра и генерируют предсказанные данные изображения. Далее в секции 80 предсказания без компенсации движения выводят на переключатель 71 сгенерированные предсказанные данные изображения.

В секции 90 компенсации движения осуществляют процесс предсказания движения на основе информации о предсказании с компенсацией движения, полученной от секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадра и генерируют предсказанные данные изображения. Далее в секции 90 компенсации движения выводят сгенерированные предсказанные данные изображения на переключатель 71.

2. Существующая технология

2-1. Базовая структура фильтра удаления блочности

В общем, обработка с использованием фильтра удаления блочности в существующей системе кодирования изображений, такой как H.264/AVC или HEVC, содержит два типа обработок, а именно: обработка определения необходимости фильтрации и обработка фильтрации. Далее описаны эти две обработки, например, в HEVC.

(1) Обработка определения необходимости фильтрации

При обработке определения необходимости фильтрации определяют, нужно ли применять фильтр удаления блочности к каждой границе блоков во входном изображении. Границы блока содержат вертикальную границу между блоками, которые примыкают друг к другу по горизонтали, и горизонтальную границу между блоками, которые примыкают друг к другу по вертикали. JCTVC-A119 использует размер блока, равный 8×8 пикселей, в качестве минимального обрабатываемого элемента. Например, макроблок из 16×16 пикселей содержит четыре блока из 8×8 пикселей. Процесс применяют к одной (левой) вертикальной границе и одной (верхней) горизонтальной границе для каждого блока, а именно четыре границы плюс четыре границы, итого в целом восемь границ. Описание предполагает то, что макроблок, как технический термин, содержит кодируемый элемент (CU) в контексте HEVC.

Фиг. 3 является типовым видом, показывающим пример пикселей в двух блоках (соседних блоках) Ba и Bb, примыкающих друг к другу по некоторой границе. Далее в качестве примера описана вертикальная граница, но очевидно, что описание применимо к горизонтальной границе. В примере с фиг. 3 для представления пикселя в блоке Ba используется символ p_ij. В этом символе i обозначает индекс столбца и j обозначает индекс строки. Индексы i столбца являются числами, такими как 0, 1, 2 и 3, которые расположены в порядке (справа налево) от столбца, ближайшего к вертикальной границе. Индексы j строки являются числами от 0, 1, 2, …, 7, которые расположены сверху вниз. На чертеже опущена левая половина блока Ва. Символ q_kj используют для обозначения пикселя в блоке Bb. В этом символе k обозначает индекс столбца и j обозначает индекс строки. Индексы k столбца являются числами, такими как 0, 1, 2 и 3, которые расположены в порядке (слева направо) от столбца, ближайшего к вертикальной границе. На чертеже опущена правая половина блока Bb.

Следующие условия могут быть использованы для определения необходимости применения фильтра удаления блочности к вертикальной границе между блоками Ba и Bb, показанными на фиг. 3.

Условие определения для компонента яркости (яркость)... Фильтр удаления блочности применяют, если справедливо как условие А, так и условие В.

Условие А:

(А1) Блок Ba или Bb входит в режим предсказания без компенсации движения;

(А2) Блок Ba или Bb обладает ненулевым коэффициентом ортогонального преобразования; или;

(A3) |MVAx-MVBx|≥4 или |MVAy-MVBy|≥4.

Условие В:

.

Условие A3 предполагает вектор движения для блока Ва равным (MVAx,MVAy) и вектор движения для блока Вb равным (MVBx,MVBy) в соответствии с точностью Qpel (1/4 пикселя). Условие В использует β в качестве порогового значения определения для края. Начальное значение β дано в соответствии с параметром квантования. Значение для β является конкретным для пользователя значением с использованием параметра в заголовке среза.

Условие определения для компонента цветности (цветность)… Фильтр удаления блочности применяют тогда, когда справедливо условие А1.

Условие A1: (А1) Блок Ba или Bb входит в режим предсказания без компенсации движения.

Как показано рамками L3 и L6c из пунктирных линий на фиг. 4, обработка определения необходимости фильтрации для общих вертикальных границ (особенно для условия В определения для компонента яркости) обращается к пикселям в третьей и шестой строках (в предположении, что верхняя строка является первой) в каждом блоке. Аналогично обработка определения необходимости фильтрации для горизонтальных границ обращается к пикселям (не показанным на фиг. 4) в третьем и шестом столбцах в каждом блоке. Описанные выше условия определения используют для определения необходимости применения фильтра удаления блочности к границе, с которой осуществляют описанную ниже обработку фильтрации.

(2) Обработка фильтрации

Если определено, что к границе необходимо применять фильтрацию удаления блочности, то обработку фильтрации осуществляют для пикселей, расположенных справа и слева от вертикальной границы, и для пикселей, расположенных выше и ниже горизонтальной границы. Для компонентов яркости в зависимости от значений пикселей переключают силу фильтра между сильным фильтром и слабым фильтром.

Фильтрация компонентов яркости

Выбор силы… Силу фильтра выбирают для каждой строки или столбца. Сильный фильтр выбирают в том случае, если справедливы все условия С1-С3. Слабый фильтр выбирают в том случае, если не выполняется какое-либо из этих условий.

(C1)d<(β>>2);

(C2);

(C3),

где через j обозначен индекс строки для вертикальной границы или индекс столбца для горизонтальной границы.

Слабая фильтрация

Δ=Clip(-t_C,t_C,(13(q_0j-p_0j)+4(q_1j-p_1j)-5(q_2j-p_2j)+16)>>5));

p_0j=Clip_0-255(p_0j+Δ);

q₀j=Clip_0-255(q_0j-Δ);

p_1j=Clip_0-255(p_1j+Δ/2);

q_1j=Clip_0-255(q_1j-Δ/2).

Сильная фильтрация

P_0j=Clip_0-255((p_2j+2p_1j+2p_0j+2q_0j+q_1j+4)>>3);

q_0j=Clip_0-255((p_1j+2p_0j+2q_0j+2q_1j+q_2j+4)>>3);

p_1j=Clip_0-255((p_2j+p_1j+p_0j+q_0j+2)>>2);

q_1j=Clip_0-255((p_0j+q_0j+q_1j+q_2j+2)>>2);

p_2j=Clip_0-255((2p_3j+3p_2j+p_1j+p_0j+q_0j+4)>>3);

q_2j=Clip_0-255((p_0j+q_0j+q_1j+3q_2j+2q_3j+4)>>3),

где через Clip(a,b,c) обозначен процесс расположения значения с в диапазоне a≤c≤b, а через Clip_0-255(с) обозначен процесс расположения значения с в диапазоне 0≤с≤255.

Фильтрация компонентов цветности

Δ=Clip(-t_C,t_C,((((q_0j-p_0j)<<2)+p₁j-q_1j+b4)>>3));

p₀j=Clip_0-255(p_0j+Δ);

q₀j=Clip_0-255(q_0j-Δ).

Как обозначено рамками С6-С8 и рамками С1-С3 из пунктирных линий с фиг. 5, обработка фильтрации (особенно сильной фильтрации компонент яркости) для в целом вертикальных границ обновляет значения пикселей для первого - третьего и шестого - восьмого столбцов в каждом блоке. Аналогично, обработка фильтрации для горизонтальных границ обновляет значения пикселей для первой - третьей и шестой - восьмой строк в каждом блоке.

2-2. Зависимость между процессами для существующей технологии

Для цели описания, как показано на фиг. 6, каждый макроблок МВх (МВ0, МВ1…), имеющий размер 16×16 пикселей, содержит верхнюю левую вертикальную границу, обозначенную через Vx,0, верхнюю центральную вертикальную границу, обозначенную через Vx,1, нижнюю левую вертикальную границу, обозначенную через Vx,2, нижнюю центральную вертикальную границу, обозначенную через Vx,3, верхнюю левую горизонтальную границу, обозначенную через Нх,0, верхнюю правую горизонтальную границу, обозначенную через Нх,1, левую центральную горизонтальную границу, обозначенную через Нх,2, и правую центральную горизонтальную границу, обозначенную через Нх,3. Для границы Z, например, процесс определения необходимости фильтрации обозначают как J_Z, а процесс фильтрации обозначают как F_Z.

Описанная выше существующая технология не является причиной зависимости между процессами на границах в одном направлении в одном макроблоке. Следовательно, технология может осуществлять параллельную фильтрацию для вертикальных и горизонтальных границ, например, в одном макроблоке. В качестве примера, фиг. 7 делает ясным, что не существует зависимости между четырьмя обработками фильтрации F_V0,0, F_V0,1, F_V0,2 и F_V0,3 (никакой пиксель не обновляют с избыточностью) в макроблоке МВ0 и обработка фильтрации может быть осуществлена параллельно.

Тем не менее, описанная выше существующая технология оставляет зависимость между обработкой фильтрации для вертикальных границ и обработкой определения необходимости фильтрации для горизонтальных границ. Существующая технология также оставляет зависимость между обработкой фильтрации для горизонтальных границ и обработкой определения необходимости фильтрации для вертикальных границ. Если, например, вертикальную границу обрабатывают до горизонтальной границы, то обработку определения необходимости фильтрации необходимо осуществить для горизонтальных границ в заданном макроблоке после завершения обработки фильтрации для вертикальных границ. В качестве примера, на фиг. 8 показано, что в макроблоке МВ0, обработка J_H0,0 определения необходимости фильтрации зависит от результатов обработок F_V0,0 и F_V0,1 фильтрации и обработка J_H0,1 определения необходимости фильтрации зависит от результатов обработки F_V0,1 фильтрации. Аналогично, в заданном макроблоке обработку определения необходимости фильтрации необходимо осуществлять для вертикальных границ после завершения обработки фильтрации горизонтальной границы для соседнего макроблока. В качестве примера на фиг. 9 показано, что обработка J_V1,0 определения необходимости фильтрации для макроблока МВ1 зависит от результатов обработок F_H0,1 и F_H0,3 фильтрации для макроблока МВ0 и обработка J_V1,2 определения необходимости фильтрации для макроблока МВ1 зависит от результатов обработки F_H0,3 фильтрации для макроблока МВ0.

Существующая технология подразумевает зависимость между процессами и, следовательно, обеспечивает очень ограниченную параллельную обработку фильтром удаления блочности, даже при использовании технологии, предложенной в JCTVC-A119.

На фиг. 10 показан вид, иллюстрирующий последовательность обработок, осуществляемых фильтром удаления блочности, в соответствии с существующей технологией. В этом примере предполагают, что на фильтр удаления блочности подают изображение размера 32×32 пикселя. Входное изображение содержит четыре макроблока МВ0-МВ3, каждый из которых имеет размер 16×16 пикселя.

На фиг. 10 рамка из пунктирных линий представляет обработку, которую выполняют параллельно. Например, на первом этапе осуществляют параллельно обработки J_V0,0, J_V0,1, J_V0,2 и J_V0,3 определения необходимости фильтрации для четырех вертикальных границ макроблока МВ0. На втором этапе осуществляют параллельно обработки F_V0,0, F_V0,1, F_V0,2 и F_V0,3 фильтрации для четырех вертикальных границ макроблока МВО. После завершения второго этапа на третьем этапе осуществляют параллельно обработки J_H0,0, J_H0,1, J_H0,2 и J_H0,3 определения необходимости фильтрации для четырех горизонтальных границ макроблока МВ0. На четвертом этапе осуществляют параллельно обработки F_H0,0, F_H0,1, F_H0,2 и F_H0,3 фильтрации для четырех горизонтальных границ макроблока МВ0. После завершения четвертого этапа обработки (пятый - восьмой этапы) для макроблока МВ1 осуществляют последовательно. После завершения обработки для макроблока МВ1, последовательно осуществляют обработку (девятый - двенадцатый этапы) для макроблока МВ2. После завершения обработки для макроблока МВ2, последовательно осуществляют обработку (тринадцатый - шестнадцатый этапы) для макроблока МВ3.

Такая параллельная обработка в ограниченном объеме не может удовлетворительным образом решить проблему задержки или ухудшения скорости обработки данных из-за большого объема обработки при применении фильтра удаления блочности. Описанные ниже три демонстрационных примера дополнительно улучшают параллельную обработку при определении.

3. Первый демонстрационный пример

3-1. Пример структуры фильтра удаления блочности

Далее в соответствии с первым демонстрационным примером описаны типовые структуры фильтра 24а удаления блочности для устройства 10 кодирования изображений, показанного на фиг. 1, и фильтра 24b удаления блочности для устройства 60 декодирования изображений, показанного на фиг. 2. Структуры фильтра 24а удаления блочности и фильтра 24b удаления блочности могут совпадать друг с другом. В последующем описании фильтр 24а удаления блочности и фильтр 24b удаления блочности, в общем, называются фильтром 24 удаления блочности, когда нет необходимости их различать.

(1) Зависимость между новыми обработками

В соответствии с демонстрационным примером обработки с использованием фильтра 24 удаления блочности, также включает в себя два типа обработок, а именно обработку определения необходимости фильтрации и обработку фильтрации. Тем не менее, фильтр 24 удаления блочности использует значения опорного пикселя, отличные от существующей технологии и предназначенные для определения необходимости применения фильтра удаления блочности к вертикальным и горизонтальным границам. Более конкретно, для определения для вертикальных границ в фильтре 24 удаления блочности используют опорный пиксель, то есть пиксель, который содержится в пикселях соседних блоков вокруг вертикальной границы и принадлежит строке, к которой не был применен фильтр удаления блочности для горизонтальных границ. Для определения для горизонтальных границ в фильтре 24 удаления блочности используют другой опорный пиксель, то есть пиксель, который содержится в пикселях соседних блоков вокруг горизонтальной границы и принадлежит строке, к которой не был применен фильтр удаления блочности для вертикальных границ. Также в последующем описании в фильтре 24 удаления блочности осуществляют обработку на основе блока, размер которого равен, например, 8×8 пикселей, и который выступает в качестве обрабатываемого элемента.

На фиг. 11 показан типовой вид, иллюстрирующий опорные пиксели во время обработки определения необходимости фильтрации, осуществляемых фильтром 24 удаления блочности для вертикальных границ. На фиг. 11 размер макроблока МВ0 равен 16×16 пикселей. В фильтре 24 удаления блочности определяют, применять ли фильтрацию к четырем вертикальным границам макроблока МВ0, что делают с использованием опорного пикселя, который принадлежит, по меньшей мере, или четвертой или пятой строке (L4 и L5) каждого блока. Фильтр удаления блочности для горизонтальных границ не применяют для этих двух строк (смотри фиг. 9). Эта структура решает проблему зависимости между обработкой фильтрации для горизонтальных границ и обработкой определения необходимости фильтрации для вертикальных границ.

На фиг. 12 показан типовой вид, иллюстрирующий опорные пиксели во время обработки определения необходимости фильтрации, осуществляемой фильтром 24 удаления блочности для горизонтальных границ. На фиг. 12 также показан макроблок МВ0. В фильтре 24 удаления блочности определяют, применять ли фильтрацию к четырем горизонтальным границам макроблока МВ0, что делают с использованием опорного пикселя, который принадлежит, по меньшей мере, или четвертому или пятому столбцу (С4 и С5) каждого блока. Фильтр удаления блочности для вертикальных границ не применяют для этих двух столбцов (смотри фиг. 7 или 8). Эта структура решает проблему зависимости между обработками фильтрации для вертикальных границ и обработкой определения необходимости фильтрации для горизонтальных границ.

Решение проблемы зависимости от обработок может в результате обеспечить распараллеливание обработок определения необходимости фильтрации для вертикальных границ и горизонтальных границ в одном макроблоке. Обработки могут быть распараллелены между макроблоками. Обработки определения необходимости фильтрации могут быть осуществлены параллельно для вертикальных и горизонтальных границ для всех макроблоков во входном изображении.

На фиг. 13 изображен поясняющий вид, показывающий первый пример последовательности операций обработки, доступный для фильтра 24 удаления блочности. В этом примере также предполагают, что на фильтр удаления блочности подают изображение размера 32×32 пикселя. Входное изображение содержит четыре макроблока МВ0-МВ3, каждый из которых имеет размер 16×16 пикселя.

На фиг. 13 рамка из пунктирных линий представляет процесс, который выполняют параллельно. В то время как пример на фиг. 10 требует 16 этапов обработки в последовательности обработок, пример с фиг. 13 группирует некоторое количество обработок в три этапа обработки. На первом этапе параллельно осуществляют обработки J_V0,0-J_V3,3 и J_H0,0-J_H3,3 определения необходимости фильтрации для всех вертикальных границ и всех горизонтальных границ всех макроблоков МВ0-МВ3. На втором этапе параллельно осуществляют обработки F_V0,0-F_V3,3 фильтрации для 16 вертикальных границ всех макроблоков МВ0-МВ3. На третьем этапе параллельно осуществляют обработки F_H0,0-F_H3,3 фильтрации для 16 горизонтальных границ всех макроблоков МВ0-МВ3. Второй и третий этапы могут быть осуществлены в противоположном порядке.

Пример с фиг. 13 максимизирует распараллеливание (количество обработок, осуществляемых параллельно), что делают на основе параллельной обработки между макроблоками. Тем не менее, в соответствии с примером с фиг. 14 в фильтре 24 удаления блочности могут осуществлять процесс для каждого макроблока.

В примере с фиг. 14 группируют одно и то же количество обработок, показанных на фиг. 10-13, в 12 этапов обработки. На первом этапе параллельно осуществляют обработки J_V0,0-J_V0,3 и J_H0,0-J_H0,3 определения необходимости фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ0. На втором этапе параллельно осуществляют обработки F_V0,0-F_V0,3 фильтрации для четырех вертикальных границ макроблока МВ0 На третьем этапе параллельно осуществляют обработки J_V1,0-J_V1,3 и J_H1,0-J_H1,3 определения необходимости фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ1. На четвертом этапе параллельно осуществляют обработки F_V1,0-F_V1,3 фильтрации для четырех вертикальных границ макроблока МВ1. На пятом этапе параллельно осуществляют обработки F_H0,0-F_H0,3 фильтрации для четырех горизонтальных границ макроблока МВ0. На шестом этапе параллельно осуществляют обработки J_V2,0-J_V2,3 и J_H2,0-J_H2,3 определения необходимости фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ2. На седьмом этапе параллельно осуществляют обработки F_V2,0-F_V2,3 фильтрации для четырех вертикальных границ макроблока МВ2. На восьмом этапе параллельно осуществляют обработки F_H1,0-F_H1,3 фильтрации для четырех горизонтальных границ макроблока МВ1. На девятом этапе параллельно осуществляют обработки J_V3,0-J_V3,3 и J_H3,0-J_H3,3 определения необходимости фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ3. На десятом этапе параллельно осуществляют обработки J_V3,0-J_V3,3 фильтрации для четырех вертикальных границ макроблока МВ3. На одиннадцатом этапе параллельно осуществляют обработки F_H2,0-F_H2,3 фильтрации для четырех горизонтальных границ макроблока МВ2. На двенадцатом этапе параллельно осуществляют обработки F_H3,0-F_H3,3 фильтрации для четырех горизонтальных границ макроблока МВ3. В этом случае в фильтре 24 удаления блочности могут осуществлять обработку для всего входного изображения с использованием этапов обработки, количество которых меньше количества этапов для существующей технологии, при этом распараллеливание меньше по сравнению со случаем примера с фиг. 13.

(2) Базовая структура фильтра удаления блочности

На фиг. 15 показана структурная схема, иллюстрирующая подробную структуру фильтра 24 удаления блочности, который соответствует первому демонстрационному примеру и который осуществляет описанные выше параллельные обработки. Как показано на фиг. 15, фильтр 24 удаления блочности содержит блок 110 определения, блок 130 горизонтальной фильтрации, блок 140 вертикальной фильтрации и секцию 150 управления распараллеливанием.

(2-1) Блок определения

Блок 110 определения содержит секции 112-1 - 112-n определения для вертикальных границ и секции 114-1 - 114-n определения для горизонтальных границ. На секции 112 определения для вертикальных границ и секции 114 определения для горизонтальных границ подают изображения, поданные на фильтр 24 удаления блочности, и информацию для определения, используемую для определения необходимости фильтрации.

В секциях 112 определения для вертикальных границ определяют, применять ли фильтр удаления блочности к вертикальным границам, что делают с использованием значений опорных пикселей, принадлежащих строке, к которой не был применен фильтр удаления блочности для горизонтальных границ, как показано на фиг. 11. В этом примере значение опорного пикселя подают на фильтр 24 удаления блочности. Секции 112 определения для вертикальных границ подают на блок 130 горизонтальной фильтрации информацию, указывающую результат определения для каждой вертикальной границы (например, двоичную информацию, в которой значение «1» означает результат определения, состоящий в том, что нужно применять фильтр удаления блочности).

В секциях 114 определения для горизонтальных границ определяют, применять ли фильтр удаления блочности к горизонтальным границам, что делают с использованием значений опорных пикселей, принадлежащих строке, к которой не был применен фильтр удаления блочности для вертикальных границ, как показано на фиг. 12. В этом примере значение опорного пикселя также подают на фильтр 24 удаления блочности. Процесс определения, осуществляемый каждой секцией 114 определения для горизонтальных границ, осуществляют параллельно процессу определения, осуществляемому секцией 112 определения для вертикальных границ. Секции 114 определения для горизонтальных границ подают на блок 140 вертикальной фильтрации информацию, указывающую результат определения для каждой горизонтальной границы.

На фиг. 16 показана блок-схема, иллюстрирующая подробную структуру каждой секции из секций 112 определения для вертикальных границ и секций 114 определения для горизонтальных границ. Как показано на фиг. 16 каждая секция определения содержит секцию 121 формирования набора, секцию 122 вычислений, секцию 123 сравнения с пороговым значением, секцию 124 оценки искажений и секцию 125 определения фильтрации.

Секция 121 формирования набора получает значение опорного пикселя из значений пикселей двух соседних блоков входного изображения вокруг рассматриваемой границы и формируют набор (набор из значений опорных пикселей) для определения условия В определения для описанного выше компонента яркости. Например, вертикальная граница может быть расположена в блоках, размер каждого из которых равен 8×8 пикселей. В этом случае в секции 121 формирования набора формируют набор из значений пикселей, принадлежащих четвертой и/или пятой строке двух блоков справа и слева. Если рассматривают горизонтальную границу, в секции 121 формирования набора формируют набор из значений пикселей, принадлежащих четвертому и/или пятому столбцу двух блоков сверху и снизу. В секции 122 вычислений передают набор, сформированный в секции 121 формирования набора, левой стороне выражения для определения в условии В определения и вычисляют краевое значение для сравнения с пороговым значением β определения для края. В секции 123 сравнения с пороговым значением сравнивают значение, вычисленное секцией 122 вычислений, с пороговым значением β определения для края и подают результат сравнения на секцию 125 определения фильтрации.

Секция 124 оценки искажений оценивает условие А определения для описанного выше компонента яркости с использованием информации о режиме (MB режим), информацию о коэффициентах преобразования и информацию о векторе движения, поданную в качестве информации для определения. В секции 124 оценки искажений подают на секцию 125 определения фильтрации результат оценки. В секции 124 оценки искажений оценивают только условие А1 определения для компонента яркости, что делают на основе информации о режиме.

В секции 125 определения фильтрации определяют, применять ли фильтр удаления блочности к рассматриваемой границе, что делают на основе результата сравнения для условия В определения, поданного от секции 123 сравнения с пороговым значением, и результата оценки для условия А определения, поданного от секции 124 оценки искажений. В секции 125 определения фильтрации подают на выход информацию, указывающую результат определения.

(2-2) Блок горизонтальной фильтрации

Со ссылками на фиг. 15 далее дополнительно опишем структуру фильтра 24 удаления блочности. Блок 130 горизонтальной фильтрации содержит секции 132-1 - 132-n горизонтальной фильтрации. На секцию 132 горизонтальной фильтрации подают входное изображение и результат определения, касающийся каждой вертикальной границы, от блока 110 определения.

В секциях 132 горизонтальной фильтрации применяют фильтр удаления блочности для вертикальных границ для расположенных справа и слева пикселей вокруг соответствующей вертикальной границы, если результат определения в секции 112 определения для вертикальных границ указывает на необходимость применения фильтра. В секциях 132 горизонтальной фильтрации подают на блок 140 вертикальной фильтрации значение пикселя после фильтрации для отфильтрованного пикселя или значение пикселя входного изображения для других пикселей.

(2-3) Блок вертикальной фильтрации

Блок 140 вертикальной фильтрации содержит секции 142-1 - 142-n вертикальной фильтрации. На секции 142 вертикальной фильтрации подают входное изображение и результат определения, касающийся каждой горизонтальной границы, из блока 110 определения.

В секциях 142 вертикальной фильтрации применяют фильтр удаления блочности для горизонтальных границ для расположенных сверху и снизу пикселей вокруг соответствующей горизонтальной границы, если результат определения секции 114 определения для горизонтальных границ указывает на необходимость применения фильтра. В секциях 142 вертикальной фильтрации подают на выход значение пикселя после фильтрации для отфильтрованного пикселя или значение пикселя, поданное блоком 130 горизонтальной фильтрации, для других пикселей. Выход каждой секции 142 вертикальной фильтрации может содержаться в выходном изображении от фильтра 24 удаления блочности.

(2-4) Секция управления распараллеливанием

В секции 150 управления распараллеливанием управляют распараллеливанием обработок определения необходимости фильтрации в блоке 110 определения и распараллеливанием обработок фильтрации в блоке 130 горизонтальной фильтрации и блоке 140 вертикальной фильтрации.

Например, в секции 150 управления распараллеливанием могут управлять распараллеливанием обработок для каждого блока на основе размера входного изображения. Более конкретно, в секции 150 управления распараллеливанием увеличивают распараллеливание обработок для каждого блока при сравнительно большом размере входного изображения. Это может гибко предотвращать задержку или уменьшение скорости обработки данных из-за объема обработки, которая увеличивается в соответствии с размерами изображения. Например, в секции 150 управления распараллеливанием могут управлять распараллеливанием обработок для каждого блока на основе набора параметров последовательности, набора параметров кадра или параметров, содержащихся в заголовке среза. Это позволяет гибко конфигурировать распараллеливание в соответствии с требованиями пользователей, которые разрабатывают устройства. Например, распараллеливание может быть структурировано в соответствии с ограничениями на среду установки, такими как количество ядер процессора или количество подобработок программного обеспечения.

В демонстрационном примере можно распараллеливать обработки между макроблоками. Это означает, что любая последовательность обработок для блоков в изображении, не оказывает влияния на окончательно получаемый результат. Соответственно, в секции 150 управления распараллеливанием на основе блоков могут управлять последовательностью обработок определения необходимости фильтрации в блоке 110 определения и последовательностью обработок фильтрации в блоке 130 горизонтальной фильтрации и блоке 140 вертикальной фильтрации.

Более конкретно, в секции 150 управления распараллеливанием могут управлять последовательностью обработок фильтрации в соответствии с зависимостью обработок фильтрации между макроблоками. Например, в соответствии с существующей технологией зависимость обработок для соседних макроблоков вокруг границы среза может задерживать параллельные обработки для каждого среза в изображении. Тем не менее, в секции 150 управления распараллеливанием, в соответствии с демонстрационным примером, могут осуществлять обработки фильтрации для соседних макроблоков вокруг границы среза до других макроблоков.

Например, на фиг. 17 показано восемь макроблоков MB10-MB13 и МВ20-МВ23 вокруг границы среза. Макроблоки MB10-MB13 принадлежат срезу SL1. Макроблоки МВ20-МВ23 принадлежат срезу SL2. Для макроблоков обработки фильтрации для горизонтальных границ макроблока МВ20 среза SL2 зависят от обработок фильтрации для вертикальных границ макроблока MB 12 среза SL1. Аналогично, обработки фильтрации для горизонтальных границ макроблока МВ21 среза SL2 зависят от обработок фильтрации для вертикальных границ макроблока MB 13 среза SL1.

В соответствии с примером на фиг. 18 для этих условий в секции 150 управления распараллеливанием осуществляют обработки фильтрации для вертикальных границ макроблоков MB12 и MB13 из обработок фильтрации для среза SL1 с большим приоритетом по сравнению с обработками для других границ. В результате предотвращают большую задержку обработок фильтрации для горизонтальных границ макроблоков МВ20 и МВ21 из обработок фильтрации для среза SL2. В примере с фиг. 19 изначально осуществляют обработки фильтрации параллельно для вертикальных границ для всех макроблоков, содержащихся в срезе SL1. В этом случае отсутствует задержка обработок фильтрации для горизонтальных границ макроблоков МВ20 и МВ21 среза SL2.

3-2. Последовательность обработки

Со ссылками на фиг. 20-22 будет описана последовательность обработки фильтром 24 удаления блочности.

(1) Первый сценарий

На фиг. 20 показана блок-схема, иллюстрирующая пример последовательности обработки фильтром 24 удаления блочности в соответствии с первым сценарием. Первый сценарий соответствует примеру большого распараллеливания, проиллюстрированному на фиг. 13.

Как показано на фиг. 20, в секциях 112-1 - 112-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся в макроблоках входного изображения (этап S102). В секциях 114-1 - 114-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся в макроблоках входного изображения (этап S104). Этапы S102 и S104 также выполняют параллельно.

В секциях 132-1 - 132-n горизонтальной фильтрации применяют фильтр удаления блочности параллельно для всех вертикальных границ, для которых на этапе S102 была определена необходимость применения фильтра удаления блочности (этап S110). В секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для всех горизонтальных границ, для которых на этапе S104 была определена необходимость применения фильтра удаления блочности (этап S120).

(2) Второй сценарий

На фиг. 21 показана блок-схема, иллюстрирующая пример последовательности операций обработки для фильтра 24 удаления блочности в соответствии со вторым сценарием. Второй сценарий соответствует примеру меньшего распараллеливания, проиллюстрированному на фиг. 14.

Как показано на фиг. 21, в секциях 112-1 - 112-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся в рассматриваемом макроблоке входного изображения (этап S202). В секциях 114-1 - 114-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся в рассматриваемом макроблоке (этап S204). Этапы S202 и S204 также выполняют параллельно.

В секциях 132-1 - 132-n горизонтальной фильтрации применяют фильтр удаления блочности параллельно для вертикальных границ рассматриваемого макроблока, для которого на этапе S202 была определена необходимость применения фильтра удаления блочности (этап S210).

Обработка на этапе S220 направлена на рассматриваемый макроблок в последнем цикле. Обработка с этапа S220 может быть опущен для первого рассматриваемого макроблока. В секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для горизонтальных границ, для которых в последнем цикле на этапе S204 была определена необходимость применения фильтра удаления блочности (этап S220).

Процесс с этапов S202-S220 повторяют для новых рассматриваемых макроблоков, если рассматриваемый макроблок остается необработанным во входном изображении (этап S230).

Если не осталось необработанных рассматриваемых макроблоков, в секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для горизонтальных границ, для которых было определена необходимость применения фильтра удаления блочности в рассматриваемом макроблоке для последнего цикла (этап S240). Далее процесс заканчивается.

Хотя были описаны два типа сценариев, направленных на распараллеливание обработок в составляющих элементах изображений и макроблоках, эти два сценария являются просто примерами для описания. Обработка фильтром 24 удаления блочности может быть распараллелена на различные элементы, такие как заданное количество макроблоков (два или четыре макроблока) или, например, группу блоков, расположенных горизонтально или вертикально.

(3) Обработка определения необходимости фильтрации

На фиг. 22 показана блок-схема, иллюстрирующая последовательность обработки определения необходимости фильтрации, соответствующей этапам S102 и S104 на фиг. 20 и этапам S202 и S204 на фиг. 21.

Как показано на фиг. 22, в секции 124 оценки искажений оценивают искажения каждой границы на основе информации о режиме, информации о коэффициентах преобразования и информации о векторе движения (этап S130). Обработка переходит на этап S134, если результаты оценки показывают наличие искажений (справедливо условие А определения). Обработка переходит на этап S140, если результаты оценки показывают отсутствие искажений (этап S132).

На этапе S134 в секции 122 вычислений вычисляют краевое значение на основе набора опорных пикселей, сформированного в секции 121 формирования набора (этап S134). В секции 123 сравнения с пороговым значением сравнивают вычисленное значение с пороговым значением β определения для края (этап S136). Обработка переходит на этап S138, если краевое значение меньше порогового значения β (справедливо условие В определения). Обработка переходит на этап S140, если краевое значение не меньше порогового значения β.

На этапе S138 в секции 125 определения фильтрации определяют, что необходимо применять фильтр удаления блочности к определяемой границе (этап S138). На этапе S140 в секции 125 определения фильтрации определяют, что не нужно применять фильтр удаления блочности к определяемой границе (этап S140).

4. Второй демонстрационный пример

В первом демонстрационном примере осуществляют процесс определения необходимости фильтрации для заданного блока с использованием значения пикселя, который не обновляли при осуществлении обработки фильтрации других блоков. В отличие от этого, в описанном ниже втором демонстрационном примере предложена память для хранения значений пикселов, поданных на вход фильтра удаления блочности, что таким образом позволяет убрать ограничения на обработки определения необходимости фильтрации и использовать более универсальные условия определения.

4-1. Пример структуры фильтра удаления блочности

(1) Описание секций

На фиг. 23 показана структурная схема, иллюстрирующая подробную структуру фильтра 24 удаления блочности, который соответствует второму демонстрационному примеру. Как показано на фиг. 23 фильтр 24 удаления блочности содержит линейную память 208, блок 210 определения, блок 130 горизонтальной фильтрации, блок 140 вертикальной фильтрации и секцию 150 управления распараллеливанием.

В линейной памяти 208 сохраняют значения пикселей для входного изображения, поданного на фильтр 24 удаления блочности. Обработки фильтрации в блоке 130 горизонтальной фильтрации и блоке 140 вертикальной фильтрации не обновляют значения пикселей, сохраненные в линейной памяти 208. В обработке определения необходимости фильтрации, осуществляемой в описанных ниже секциях в блоке 210 определения, обращаются к значениям пикселей, сохраненным в линейной памяти 208. Устройство содержит другую память для целей, отличных от обработок фильтра 24 удаления блочности. Эта память может быть повторно использована (использована совместно) в качестве линейной памяти 208.

Блок 210 определения содержит секции 212-1 - 212-n определения для вертикальных границ и секции 214-1 - 214-n определения для горизонтальных границ. На секции 212 определения для вертикальных границ и секции 214 определения для горизонтальных границ подают значения пикселей, сохраненные в линейной памяти 208, для изображения, поданного на вход фильтра 24 удаления блочности, и информацию для определения, используемую для определения необходимости фильтрации.

В секциях 212 определения для вертикальных границ используют значения пикселей, поданные на вход фильтра 24 удаления блочности, для определения, нужно ли применять фильтр удаления блочности для каждой вертикальной границы. От секций 212 определения для вертикальных границ подают на блок 130 горизонтальной фильтрации информацию, указывающую результат определения для каждой вертикальной границы.

В секциях 214 определения для горизонтальных границ также используют значения пикселей, поданные на вход фильтра 24 удаления блочности, для определения, нужно ли применять фильтр удаления блочности для каждой горизонтальной границы. В секциях 114 определения для горизонтальных границ обработки определения осуществляют параллельно обработкам определения, осуществляемым в секциях 212 определения для вертикальных границ. Секции 214 определения для горизонтальных границ подают на блок 140 вертикальной фильтрации информацию, указывающую результат определения для каждой горизонтальной границы.

(2) Универсальные условия определения

Аналогично существующей технологии, показанной на фиг. 4, в секциях 212 определения для вертикальных границ, соответствующих демонстрационному примеру, могут обращаться к пикселям в третьей и шестой строках блока с целью определения необходимости фильтрации вертикальной границы каждого блока. Тем не менее, в этом случае значения пикселей, к которым обращаются, хранятся в линейной памяти 208 и они относятся к входному изображению для фильтра 24 удаления блочности. Аналогично секции 214 определения для вертикальных границ могут обращаться к пикселям в третьей и шестой строках блока с целью определения необходимости фильтрации горизонтальной границы каждого блока. В этом случае может быть легко предложена структура, которая соответствует демонстрационному примеру и в которой не изменены условия определения для обработок определения необходимости фильтрации, установленных в существующем устройстве.

Секции 212 определения для вертикальных границ во время определения могут обращаться к пикселям трех и более строк в блоке. Аналогично, секции 214 определения для горизонтальных границ во время определения могут обращаться к пикселям трех и более столбцов в блоке. Секции 212 определения для вертикальных границ и секции 214 определения для горизонтальных границ могут использовать выражения для условий определения, отличные от условий в существующей технологии. Со ссылками на фиг. 24-26, далее описаны шесть примеров технологии определения, соответствующей демонстрационному примеру.

(2-1) Первый пример

На фиг. 24 показан пояснительный вид, иллюстрирующий первый и второй примеры технологии определения. В первом и втором примерах обработка определения необходимости фильтрации (в частности определение с использованием условия В определения для компонент яркости) для вертикальных границ обращается к пикселям всех строк L1-L8 от первой до восьмой для каждого блока. Обработка определения необходимости фильтрации для горизонтальных границ также обращается к пикселям всех столбцов от первого до восьмого в каждом блоке.

В первом примере можно установить условия определения для компонент яркости следующим образом.

Условие определения для компонента яркости (яркость)… Фильтр удаления блочности применяют, если справедливо как условие А, так и условие В.

Условие А:

(А1) Блок Ba или Bb входит в режим предсказания без компенсации движения;

(А2) Блок Ba или Bb обладает ненулевым коэффициентом ортогонального преобразования; или

(A3) или .

Условие В:

;

;

;

;

.

При таком условии iD_ave<β.

Условие определения для компонент яркости могут совпадать с описанными выше условиями существующей технологии. Для вычисления среднего iD_ave для четырех параметров iD₀-iD₃ определения может быть вычислено взвешенное среднее.

(2-2) Второй пример

Второй пример может установить условие В определения для компонент яркости следующим образом.

Условие В:

;

;

;

.

При таком условии iD₀<β и iD₁<β и iD₂<β и iD₃<β.

Выражение для вычисления четырех параметров iD₀-iD₃ определения совпадает с аналогичным выражением для первого примера. Допустимое условие состоит в том, что не все, но, по меньшей мере, три, два или один из четырех параметров iD₀-iD₃ определения, меньше порогового значения β определения для края.

(2-3) Третий пример

На фиг. 25 показан пояснительный вид, иллюстрирующий третий и четвертый примеры технологии определения. В третьем и четвертом примерах обработки определения необходимости фильтрации (в частности определение с использованием условия В определения для компонент яркости) для вертикальных границ обращается к пикселям четырех строк L1, L3, L6 и L8 в каждом блоке. Обработка определения необходимости фильтрации для горизонтальных границ также обращается к пикселям четырех столбцов в каждом блоке.

Третий пример может установить условия определения для компонент яркости следующим образом.

Условие определения для компонента яркости (яркость)… Фильтр удаления блочности применяют, если справедливо как условие А, так и условие В. Условие А:

(А1) Блок Ba или Bb входит в режим предсказания без компенсации движения;

(А2) Блок Ba или Bb обладает ненулевым коэффициентом ортогонального преобразования; или

(A3) или .

Условие В:

;

;

iD_ave=(iD₀+iD₂)>>l.

При таком условии iD_ave<β.

Условие определения для компонент яркости могут совпадать с описанными выше условиями существующей технологии. Для вычисления среднего iD_ave для двух параметров iD₀ и iD₂ определения может быть вычислено взвешенное среднее.

(2-4) Четвертый пример

Четвертый пример может установить условие В определения для компонент яркости следующим образом.

Условие В:

;

;

При таком условии iD₀<β и iD₂<β.

Выражение для вычисления двух параметров iD₀ и iD₂ определения совпадает с аналогичным выражением для третьего примера. Допустимое условие состоит в том, что не оба, а один из двух параметров iD₀ и iD₂ определения меньше порогового значения β определения для края.

Хотя был описан пример с обращениями к первой, третьей, шестой и восьмой строкам (или столбцам) L1, L3, L6 и L8 в блоке во время определения, можно обращаться к другим комбинациям строк или столбцов.

(2-5) Пятый пример

На фиг. 26 показан пояснительный вид, иллюстрирующий пятый и шестой примеры технологии определения. В пятом и шестом примерах обработки определения необходимости фильтрации для вертикальных границ обращается к пикселям четырех строк L1, L3, L5 и L7 в каждом блоке. Обработка определения необходимости фильтрации для горизонтальных границ также обращается к пикселям для четырех столбцов в каждом блоке.

Пятый пример может установить условия определения для компонент яркости следующим образом.

Условие определения для компонента яркости (яркость)… Фильтр удаления блочности применяют, если справедливо как условие А, так и условие В.

Условие А:

(А1) Блок Ba или Bb входит в режим предсказания без компенсации движения;

(А2) Блок Ba или Bb обладает ненулевым коэффициентом ортогонального преобразования; или

(A3) или .

Условие В:

;

;

iD_ave=(iD₀+iD₂)>>1.

При таком условии iD_ave<β.

Условие определения для компонент яркости могут совпадать с описанными выше условиями существующей технологии. Для вычисления среднего iD_ave для двух параметров iD₀ и iD₂ определения может быть вычислено взвешенное среднее.

(2-6) Шестой пример

Шестой пример может установить условие В определения для компонент яркости следующим образом.

Условие В:

;

.

При таком условии iD₀<β и iD₂<β.

Выражение для вычисления двух параметров iD₀ и iD₂ определения совпадает с аналогичным выражением для пятого примера. Допустимое условие состоит в том, что не оба, а один из двух параметров iD₀ и iD₂ определения меньше порогового значения β определения для края.

В общем, увеличение количества строк и столбцов, к которым обращаются для определения, улучшает точность определения. Следовательно, первый и второй примеры с обращениями к восьми строкам и столбцам могут минимизировать вероятность фильтрации блока, для которого изначально не предполагалось применять фильтр удаления блочности, и вероятность нефильтрации блока, для которого изначально предполагалось применять фильтр удаления блочности. В результате увеличивается качество кодируемого и декодируемого изображения. С другой стороны уменьшение количества строк и столбцов, к которым обращаются для определения, может уменьшить затраты на обработку. Так как существует компромисс между качеством изображения и затратами на обработку, то может быть целесообразно гибко выбирать количество строк и столбцов, к которым обращаются для определения, в зависимости от использования устройства или ограничений на установку. Может быть целесообразно гибко выбирать комбинации строк и столбцов, к которым обращаются.

Как описано в первом, третьем и пятом примерах, среднее значение iD_ave параметров определения может быть сравнено с пороговым значением β определения для края для надлежащего осуществления определения на основе блоков без чрезмерного воздействия на изменения параметров каждой строки или столбца.

4-2. Последовательность обработки

В соответствии со вторым демонстрационным примером, а также первым демонстрационным примером фильтр 24 удаления блочности может работать с различной степенью распараллеливания.

В первом сценарии с использованием большой степени распараллеливания, в секциях 212-1 - 212-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся в макроблоках входного изображения. В секциях 214-1 - 214-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся в макроблоках входного изображения. Обработки определения для вертикальных и горизонтальных границ также могут быть осуществлены параллельно. В секциях 132-1 - 132-n горизонтальной фильтрации и секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности к вертикальной границе и горизонтальной границе, для которых определена необходимость применения фильтра удаления блочности.

Во втором сценарии с использованием малой степени распараллеливания, в секциях 212-1 - 212-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся в одном рассматриваемом макроблоке входного изображения. В секциях 214-1 - 214-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся в рассматриваемом макроблоке. Обработки определения для вертикальных и горизонтальных границ также могут быть осуществлены параллельно. Далее в секциях 132-1 - 132-n горизонтальной фильтрации применяют фильтр удаления блочности параллельно для вертикальной границы, для которой была определена необходимость применения фильтра удаления блочности. В секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для горизонтальной границы, для которой была определена необходимость применения фильтра удаления блочности. Этот процесс повторно осуществляют для всех макроблоков входного изображения (смотри фиг. 21).

Эти два сценария являются просто примерами, нужными для описания. Также во втором демонстрационном примере обработки, осуществляемые фильтром 24 удаления блочности, могут быть распараллелены на различные элементы, такие как заданное количество макроблоков (два или четыре макроблока) или, например, группу блоков, расположенных горизонтально или вертикально. Также во втором демонстрационном примере, а также в первом демонстрационном примере в секции 150 управления распараллеливанием могут управлять распараллеливанием и последовательностью обработок, осуществляемых фильтром 24 удаления блочности.

4-3. Пример процесса для каждого LCU

Как отмечено выше, технология, соответствующая различным описанным здесь демонстрационным примерам, может быть предложена в виде процесса на основе кодируемого элемента (CU) HEVC. В соответствии с HEVC, кодируемый элемент наибольшего размера, называется наибольшим кодируемым элементом (LCU), который может быть выбран, например, в виде 64×64 пикселей. Минимальный размер CU, который может быть выбран, составляет 8×8 пикселей. Обычно, изображение кодируют и декодируют в соответствии с каждым LCU в соответствии с последовательностью растровой развертки из LCU, расположенного сверху слева кадра (или среза). Далее описаны примеры обработок, соответствующих LCU и осуществляемых в фильтре 24 удаления блочности.

На фиг. 27 показан пояснительный вид, иллюстрирующий последовательность обработки для каждого LCU в соответствии с описанным выше вторым демонстрационным примером. В примере предполагается, что LCU имеет размер 16×16 пикселей, а размер CU равен 8×8 пикселей.

На фиг. 27 первая стадия показана сверху слева и она указывает, что фильтрация для LCU завершена до (n-1)-го LCU. Заштрихованные пиксели предназначены для фильтрации вертикальных границ. Заполненные пиксели предназначены для фильтрации горизонтальных границ.

Обработки второй стадии сверху справа фиг. 27 и третьей стадии снизу слева фиг. 27 предназначены для n-ого LCU. До второй стадии значения пикселей, поданные на фильтр 24 удаления блочности, используют для параллельного осуществления обработок определения необходимости фильтрации для всех вертикальных и горизонтальных границ, принадлежащих n-ому LCU. На второй стадии значения пикселей, поданные на фильтр 24 удаления блочности, используют для параллельного осуществления обработки фильтрации для вертикальной границы, которая принадлежит n-ому LCU и для которой определена необходимость применения фильтра удаления блочности. Значения пикселей, обработанные на второй стадии, далее используют для параллельного осуществления процесса фильтрации для горизонтальной границы, которая принадлежит n-ому LCU и для которой определена необходимость применения фильтра удаления блочности.

Обработки четвертой стадии, показанной на фиг. 27 снизу справа, предназначены для (n+1)-ого LCU. На четвертой стадии обработки фильтрации осуществляют параллельно для вертикальной границы, для которой определена необходимость применения фильтра удаления блочности, после параллельного осуществления обработок определения необходимости фильтрации для всех вертикальных и горизонтальных границ, принадлежащих (n+1)-ому LCU.

Хотя в примере предполагается, что LCU имеет размер 16×16 пикселей, он может быть установлен равным 32×32 или 64×64 пикселей. Эффект от укорачивания времени обработки в соответствии с распараллеливанием дополнительно усиливается, так как увеличение выбираемого размера LCU также увеличивает количество вертикальных и горизонтальных границ, принадлежащих одному LCU.

На фиг. 28 показана блок-схема, иллюстрирующая последовательность обработки для фильтра 24 удаления блочности для каждого LCU.

Как показано на фиг. 28, в секциях 212-1 - 212-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся в рассматриваемом LCU входного изображения (этап S252). В секциях 214-1 - 214-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся в рассматриваемом LCU (этап S254). Этапы S252 и S254 также выполняют параллельно.

В секциях 132-1 - 132-n горизонтальной фильтрации применяют фильтр удаления блочности параллельно для вертикальных границ рассматриваемого LCU, для которого на этапе S252 была определена необходимость применения фильтра удаления блочности (этап S260).

В секциях 142-1 - 142-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для горизонтальных границ рассматриваемого LCU, для которого на этапе S254 была определена необходимость применения фильтра удаления блочности (этап S270).

Процесс с этапов S252-S270 повторяют для новых рассматриваемых LCU, если рассматриваемый LCU остается необработанным во входном изображении (этап S280). Процесс завершают, если не остается необработанных LCU.

5. Третий демонстрационный пример

5-1. Обзор

В соответствии со вторым демонстрационным примером, обработки определения необходимости фильтрации для вертикальных и горизонтальных границ обращаются к значению пикселя, поданному на фильтр удаления блочности, и, таким образом, удаляют зависимость между обработками определения необходимости фильтрации и получают возможность распараллеливания обработок определения. В описанном ниже третьем демонстрационном примере концепция второго демонстрационного примера применена также для обработки фильтрации. Обработки фильтрации для вертикальных и горизонтальных границ также выполняют фильтрацию значения пикселей, поданные на фильтр удаления блочности.

На фиг. 29 показан пояснительный вид, иллюстрирующий общее представление для этого демонстрационного примера. Снизу слева фиг. 29 показаны представляющие форму входные пиксели (также называемые восстановленными пикселями) до обработки фильтром удаления блочности. В демонстрационном примере возможно обращения к значениям пикселей, поданным на фильтр удаления блочности, не только от обработок определения необходимости фильтрации для вертикальных и горизонтальных границ, но также от обработок фильтрации для вертикальных границ и обработок фильтрации для горизонтальных границ. Следовательно, удаляется зависимость между двумя обработками фильтрации. Две обработки фильтрации осуществляют параллельно.

Обработки фильтрации для вертикальных границ и обработки фильтрации для горизонтальных границ могут обновлять значения дублирующихся пикселей. Заполненные пиксели на фиг. 29 показывают позиции пикселей, которые с большой вероятностью будут дублирующимися. В фильтре удаления блочности, который соответствует демонстрационному примеру, вычисляют одно выходного значение пикселя от двух выходов фильтра для пикселей, которые были обновлены двумя фильтрами, работающими параллельно.

5-2. Пример структуры фильтра удаления блочности

На фиг. 30 показана структурная схема, иллюстрирующая подробную структуру фильтра 24 удаления блочности, который соответствует третьему демонстрационному примеру. Как показано на фиг. 30, фильтр 24 удаления блочности содержит линейную память 208, блок 210 определения, блок 330 горизонтальной фильтрации, блок 340 вертикальной фильтрации, секцию 150 управления распараллеливанием и секцию 360 вычислений. Блок 210 определения содержит секции 212-1 - 212-n определения для вертикальных границ и секции 214-1 - 214-n определения для горизонтальных границ. В секциях 212 определения для вертикальных границ и секциях 214 определения для горизонтальных границ могут определить необходимость фильтрации для границ в соответствии с различными условиями определения, как описано во втором демонстрационном примере.

Блок 330 горизонтальной фильтрации содержит секции 332-1 - 332-n горизонтальной фильтрации. На секции 332 горизонтальной фильтрации подают значение входного изображения из линейной памяти 208 и результат определения, относящийся к каждой вертикальной границе, от блока 210 определения.

В секциях 332 горизонтальной фильтрации применяют фильтр удаления блочности для вертикальных границ для расположенных справа и слева пикселей вокруг соответствующей вертикальной границы, если результат определения от секции 212 определения для вертикальных границ указывает на необходимость применения фильтра. В секциях 332 горизонтальной фильтрации подают на секцию 360 вычислений значение пикселя после фильтрации для отфильтрованного пикселя или значение входного пикселя для других пикселей.

Блок 340 вертикальной фильтрации содержит секции 342-1 - 342-n вертикальной фильтрации. На секции 342 вертикальной фильтрации подают значение входного пикселя из линейной памяти 208 и результат определения, относящийся к каждой горизонтальной границе, от блока 210 определения.

В секциях 342 вертикальной фильтрации применяют фильтр удаления блочности для горизонтальных границ для расположенных сверху и снизу пикселей вокруг соответствующей горизонтальной границы, если результат определения от секции 214 определения для горизонтальных границ указывает на необходимость применения фильтра. Обработки фильтрации секций 342-1 - 342-n вертикальной фильтрации осуществляют параллельно процессам фильтрации секций 332-1 - 332-n горизонтальной фильтрации. В секциях 342 вертикальной фильтрации подают на секцию 360 вычислений значение пикселя после фильтрации для отфильтрованного пикселя или значение входного пикселя для других пикселей.

На секцию 360 вычислений параллельно подают значение выходного пикселя от блока 330 горизонтальной фильтрации и значение выходного пикселя от блока 340 вертикальной фильтрации. Далее на секцию 360 вычислений подают результаты определения от секции 212 определения для вертикальных границ и секции 214 определения для горизонтальных границ. В соответствии с результатом определения, в секции 360 вычислений вычисляют значения выходных пикселей для прошедших фильтрацию пикселей из блока 330 горизонтальной фильтрации и блока 340 вертикальной фильтрации, что делают на основе выходов фильтра из блока 330 горизонтальной фильтрации и блока 340 вертикальной фильтрации.

В соответствии, например, с демонстрационным примером в секции 360 вычислений вычисляют среднее двух выходов фильтров для дважды отфильтрованных пикселей. В секции 360 вычислений могут вычислить простое среднее двух выходов фильтров. Вместо этого в секции 360 вычислений могут вычислить взвешенное среднее двух выходов фильтров. Например, в секции 360 вычислений могут определить вес для взвешенных средних пикселей в соответствии с расстоянием от каждого пикселя до вертикальной границы и до горизонтальной границы.

На фиг. 31 показан пояснительный вид, иллюстрирующий определение веса для взвешенного среднего, вычисленного в секции 360 вычислений. На фиг. 31 показан рассматриваемый пиксель P_Z, который покрашен черным цветом и который соответствует одной из дублирующихся позиций, показанных на фиг. 29. Существует три пикселя, соответствующие расстоянию D_V между рассматриваемым пикселем P_Z и ближайшей вертикальной границей V_Z. Существует два пикселя, соответствующие расстоянию D_H между рассматриваемым пикселем P_Z и ближайшей горизонтальной границей H_Z. Расстояние D_H меньше расстояния D_V. В этом случае, в секции 360 вычислений могут установить вес для выхода фильтра удаления блочности, применяемого к горизонтальной границе H_Z, большим веса для выхода фильтра удаления блочности, применяемого к вертикальной границе V_Z. В примере с фиг. 31 предполагается, что отношение выхода V_out фильтра для вертикальной границы V_Z к выходу H_out фильтра для горизонтальной границы H_Z равно 2:3.

Как показано на фиг. 31, вычисление взвешенного среднего выходов двух фильтров может последовательно обеспечить для каждого рассматриваемого пикселя выходное значения пикселя, аналогично случаю применения одного двухмерного фильтра, содержащего набор для фильтра вдоль горизонтального направления и набор для фильтра вдоль вертикального направления. Распараллеливание обработок фильтрации по вертикальной и горизонтальной границам также может надлежащим образом уменьшить блочность изображения, появляющуюся на вертикальных и горизонтальных границах. В качестве другого демонстрационного примера фильтр 24 удаления блочности может содержать один двумерный фильтр, который одновременно осуществляет горизонтальную фильтрацию, вертикальную фильтрацию и вычисление взвешенного среднего. Тем не менее, в этом случае очень сложна установка, так как необходимо различным образом изменять коэффициенты фильтра в соответствии с пикселями. С другой стороны в третьем демонстрационном примере два одномерных фильтра работают параллельно и после этого вычисляют взвешенное среднее. Это легко обеспечивает обработку, по существу, совпадающую с обработкой двумерного фильтра при одновременном обеспечении функциональных возможностей существующих фильтров удаления блочности.

На фиг. 32 показан пояснительный вид, иллюстрирующий пример веса для взвешенных средних, вычисленных на основе примера с фиг. 31. На фиг. 32 показаны 36 пикселей (6×6) вокруг пересечения вертикальной границы и горизонтальной границы. Пиксели соответствуют описанным выше дублирующимся позициям. Для пикселей, расположенных на равном расстоянии от вертикальной и горизонтальной границ отношение веса для выхода V_out фильтра к весу выхода H_out фильтра равно 1:1 (2:2 или 3:3). Для пикселей, расположенных ближе к вертикальной границе, вес для выхода V_out фильтра больше веса для выхода H_out фильтра. Например, отношение весов для пикселя Р₁ равно V_out:H_out=3:1. Для пикселей, расположенных ближе к горизонтальной границе, вес для выхода V_out фильтра меньше веса для выхода H_out фильтра.. Например, отношение весов для пикселя Р₂ равно V_out:H_out=1:3.

Блочность изображения может быть уменьшена более эффективно и качество изображения может быть улучшено путем изменения веса для взвешенных средних в зависимости от расстояния между каждым пикселем и границей.

Приведенные выше веса являются только примерами. Например, секция 360 вычислений может определять вес для взвешенных средних для пикселей в соответствии с контрастностями краев вертикальных и горизонтальных границ для каждого пикселя вместо расстояния между этим пикселем и границей или в дополнение к упомянутому расстоянию. Контрастность края может быть представлена таким параметром, как краевое значение, вычисленное, например, в секции 122 вычислений, как показано на фиг. 16. В этом случае вес выхода фильтра для границы с более контрастным краем может быть установлен равным большему значению по сравнению с весом выхода фильтра для границы с менее контрастным краем. Изменяя вес для взвешенных средних в соответствии с контрастностью края, может адаптивно улучшить действие фильтра удаления блочности на границе, которая вызывает значительную блочность изображения.

Секция 360 вычислений выбирает выходы фактически отфильтрованных блоков для пикселей, отфильтрованных или блоком 330 горизонтальной фильтрации или блоком 340 вертикальной фильтрации. Секция 360 вычислений непосредственно подает на выход входное значение пикселя, которое должно быть подано на фильтр 24 удаления блочности, для пикселей, которые не были отфильтрованы ни блоком 330 горизонтальной фильтрации ни блоком 340 вертикальной фильтрации. В таблице на фиг. 33 перечислены значения пикселей от секции 360 вычислений в соответствии с результатами определения необходимости фильтрации.

5-3. Пример последовательности обработки

Ниже описаны два примера последовательности обработки, доступные для фильтра 24 удаления блочности в соответствии с демонстрационным примером. В этом примере также предполагают, что на фильтр удаления блочности подают изображение размера 32×32 пикселя. Входное изображение содержит четыре макроблока МВ0-МВ3, каждый из которых имеет размер 16×16 пикселя.

(1) Первый пример

Для сравнения на фиг. 34 показана последовательность обработки в случае сохранения зависимости между обработкой фильтрации для вертикальной границы и обработкой фильтрации для горизонтальной границы. Последовательность обработки на фиг. 34 по существу совпадает с последовательностью обработки на фиг. 13, которая соответствует первому демонстрационному примеру. На фиг. 34 на первом этапе параллельно осуществляют обработки J_V0,0-J_V3,3 и J_H0,0-J_H3,3 определения необходимости фильтрации для всех вертикальных границ и всех горизонтальных границ всех четырех макроблоков МВ0-МВ3. На втором этапе осуществляют обработки F_V0,0-F_V3,3 фильтрации для 16 вертикальных границ всех четырех макроблоков МВ0-МВ3. На третьем этапе осуществляют обработки F_H0,0-F_H3,3 фильтрации для 16 горизонтальных границ всех четырех макроблоков МВ0-МВ3. На четвертом этапе (опущенном на фиг. 13) значения пикселей после процесса фильтрации горизонтальной границы сохраняют в памяти, используемой для выходов фильтра 24 удаления блочности.

На фиг. 35 показан первый пример последовательности обработки, предусмотренной в демонстрационном примере. На фиг. 35 на первом этапе параллельно осуществляют обработки J_V0,0-J_V3,3 и J_H0,0-J_H3,3 определения необходимости фильтрации для всех вертикальных границ и всех горизонтальных границ четырех макроблоков МВ0-МВ3. На втором этапе параллельно осуществляют обработки F_V0,0-F_V3,3 и F_H0,0-F_H3,3 фильтрации для всех вертикальных границ и всех горизонтальных границ четырех макроблоков МВ0-МВ3. Фактически на втором этапе фильтруют только границу, для которой определена необходимость фильтрации. На третьем этапе значения пикселей сохраняют в памяти, используемой для выходов фильтра 24 удаления блочности. Взвешенное среднее выходов двух фильтров может быть вычислено в виде выходного значения пикселя для пикселей, которые прошли фильтрацию в блоке 330 горизонтальной фильтрации и блоке 340 вертикальной фильтрации.

(2) Второй пример

В то время как в первом примере максимизируют распараллеливание, фильтр 24 удаления блочности, соответствующий второму примеру, также осуществляет процесс для каждого макроблока.

Для сравнения на фиг. 36 показана последовательность обработки для каждого макроблока в случае сохранения зависимости между обработкой фильтрации для вертикальной границы и обработкой фильтрации для горизонтальной границы. Последовательность обработки на фиг. 36 по существу совпадает с последовательностью обработки на фиг. 14, которая соответствует первому демонстрационному примеру. На фиг. 36 явным образом показаны четыре этапа обработки (шестой, десятый, четырнадцатый и шестнадцатый), в которых значения пикселей сохраняют в памяти для выхода и которые для простоты опущены на фиг. 14. Шестнадцать этапов обработки, содержащие упомянутые четыре этапа обработки, составляют обработку на фиг. 36.

На фиг. 37 показан второй пример последовательности обработки, предусмотренной в демонстрационном примере. На фиг. 37 на первом этапе параллельно осуществляют обработки J_V0,0-J_V0,3 и J_H0,0-J_H0,3 определения необходимости фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ0. На втором этапе параллельно осуществляют обработки F_V0,0-F_V0,3 и F_H0,0-F_H0,3 фильтрации для четырех вертикальных границ и четырех горизонтальных границ макроблока МВ0. На третьем этапе значения пикселей макроблока МВ0 сохраняют в памяти, используемой для выходов фильтра 24 удаления блочности. Взвешенное среднее выходов двух фильтров может быть вычислено в виде выходного значения пикселя для пикселей, которых фильтровались двумя фильтрами. На этапах с четвертого по шестой аналогичным образом обрабатывают макроблок МВ1. На этапах с седьмого по девятый аналогичным образом обрабатывают макроблок МВ2. На этапах с десятого по двенадцатый аналогичным образом обрабатывают макроблок МВ3. Процесс на фиг. 37 содержит двенадцать этапов обработки, то есть их число меньше числа этапов обработки для процесса с фиг. 36.

В третьем демонстрационном примере исключают зависимость между процессами фильтрации для вертикальных границ и процессом фильтрации для горизонтальных границ. Обработка, выполняемая фильтром 24 удаления блочности, может быть осуществлена с использованием меньшего количества этапов обработки по сравнению со случаем, описанным в первом и втором демонстрационных примерах. Одно из преимуществ того, что обработке фильтрации позволяют обращаться только к пикселям, поданным на фильтр удаления блочности, состоит в том, что никакая конфигурация наборов для фильтров не порождает зависимости между обработками фильтрации для вертикальных границ и обработками фильтрации для горизонтальных границ. Третий демонстрационный пример может улучшить качество изображения путем конфигурирования набора для фильтра с использованием большего количества пикселей по сравнению с количеством пикселей, использовавшихся в существующих технологиях. Например, существующая технология использует набор для фильтра из трех пикселей для каждой стороны каждой границы, как описано при рассмотрении фиг. 7. В этом демонстрационном примере не порождают зависимости между обработками, даже если для каждой границы используют набор фильтрации из пяти и более пикселей. Не порождается зависимость между обработками даже при дальнейшем уменьшении размера блока, выступающего в качестве обрабатываемого элемента фильтрации удаления блочности.

Также в третьем демонстрационном примере, а также в первом и втором демонстрационных примерах в секции 150 управления распараллеливанием могут управлять распараллеливанием и последовательностью обработок фильтра 24 удаления блочности.

5-4. Последовательность обработки

На фиг. 38 показана блок-схема, иллюстрирующая пример последовательности обработки для фильтра удаления блочности в соответствии с третьим демонстрационным примером. На фиг. 39 показана блок-схема, иллюстрирующая обработку вычисления значений пикселей, показанный на фиг. 38.

Как показано на фиг. 38, в секциях 212-1 - 212-n определения для вертикальных границ параллельно определяют необходимость фильтрации для всех вертикальных границ, содержащихся во входном изображении или макроблоке (этап S302). В секциях 214-1 - 214-n определения для горизонтальных границ параллельно определяют необходимость фильтрации для всех горизонтальных границ, содержащихся во входном изображении или макроблоке (этап S304). Этапы S302 и S304 также выполняют параллельно.

В секциях 332-1 - 332-n горизонтальной фильтрации применяют фильтр удаления блочности параллельно для всех вертикальных границ, для которых на этапе S302 была определена необходимость применения фильтра удаления блочности (этап S306). В секциях 342-1 - 342-n вертикальной фильтрации применяют фильтр удаления блочности параллельно для всех горизонтальных границ, для которых на этапе S304 была определена необходимость применения фильтра удаления блочности (этап S308). Этапы S306 и S308 также выполняют параллельно.

Далее в секции 360 вычислений осуществляют процесс вычисления значений пикселей, как показано на фиг. 39 (этап S310). Как показано на фиг. 39, обработка с этапа S314 по этап S326 выполняется циклически для каждого обрабатываемого пикселя (этап S312).

На этапе S314 в секции 360 вычислений определяют, осуществили ли два фильтра для вертикальных и горизонтальных границ фильтрацию рассматриваемого пикселя (этап S314). Обработка переходит на этап S322, если два фильтра для вертикальных и горизонтальных границ осуществили фильтрацию рассматриваемого пикселя. Обработка переходит на этап S316, если два фильтра для вертикальных и горизонтальных границ не осуществили фильтрацию рассматриваемого пикселя.

На этапе S316 в секции 360 вычислений определяют, осуществил ли один из двух фильтров для вертикальных и горизонтальных границ фильтрацию рассматриваемого пикселя (этап S316). Обработка переходит на этап S320, если один из двух фильтров осуществил фильтрацию рассматриваемого пикселя. Обработка переходит на этап S318, если ни один из фильтров не осуществил фильтрацию рассматриваемого пикселя.

На этапе S318 в секции 360 вычислений получают входное значение пикселя для фильтра 24 удаления блочности (этап S318). На этапе S320 в секции 360 вычислений получают выход фильтра от фильтра, который фактически осуществлял фильтрацию рассматриваемого пикселя (этап S320).

На этапе S322 в секции 360 вычислений определяют значения весов для вычисления взвешенного среднего выходов двух фильтров, относящихся к рассматриваемому пикселю, в соответствии с расстояниями от рассматриваемого пикселя до вертикальных и горизонтальных границ или в соответствии с контрастностями краев для вертикальных и горизонтальных границ, которые соответствуют рассматриваемому пикселю (этап S322). В секции 360 вычислений с использованием определенного веса вычисляют взвешенное среднее выходов двух фильтров (этап S324).

В секции 360 вычислений сохраняют значение рассматриваемого пикселя в памяти, при этом значение пикселя получают на этапе S318 или S320 или вычисляют на этапе S324 (этап S326). Последовательности обработок, показанные на фиг. 38 и 39, заканчиваются тогда, когда осуществили обработку для всех пикселей, которые нужно обработать.

6. Применение для различных кодеков

Технология, соответствующая изобретению, применима к различным кодекам, относящимся к кодированию и декодированию изображений. Ниже описаны примеры применения технологии, соответствующей изобретению, для многопроекционного кодека и масштабируемого кодека.

6-1. Многопроекционный кодек

Многопроекционный кодек представляет собой систему кодирования изображений, которая кодирует и декодирует видео с множества точек обзора. На фиг. 40 показан пояснительный вид, иллюстрирующий многопроекционный кодек. На фиг. 40 показаны последовательности кадров для трех видов, полученных с трех точек обзора. Каждый вид содержит идентификатор вида (view_id). Одна из проекций определена как основная проекция. Проекции, отличные от основной проекции, называются неосновными проекциями. В примере с фиг. 40 показаны основная проекция, обозначенная идентификатором "0" проекции, и две неосновные проекции, обозначенные идентификаторами "1" или "2" проекции. Кодирование данных многопроекционного изображения может в целом уменьшить размер закодированного потока данных путем кодирования кадров неосновных проекций на основе информации о кодировании кадров основной проекции.

К каждой проекции можно применить фильтр удаления блочности во время процесса кодирования и процесса декодирования, которые соответствуют описанному выше многопроекционному кодеку. К каждой проекции можно применить фильтр удаления блочности, обработки определения необходимости фильтрации для вертикальных границ блока и горизонтальных границ блока для каждой проекции могут быть распараллелены на основе технологии, соответствующей настоящему изобретению. Для каждой проекции могут быть распараллелены обработки определения необходимости фильтрации и обработки фильтрации. Для каждой проекции может быть предусмотрен параметр (такой как параметры, описанные в вышеприведенном описании для секции 150 управления параллелизмом) для управления обработкой определения необходимости фильтрации или обработкой фильтрации. Параметр, предусмотренный для основного вида, может быть повторно использован для неосновного вида.

Обработки определения необходимости фильтрации или обработки фильтрации могут быть распараллелены между проекциями. Проекции могут совместно использовать параметр (такой как параметры, описанные в вышеприведенном описании для секции 150 управления параллелизмом) для управления обработками определения необходимости фильтрации или обработками фильтрации. Может быть целесообразно дополнительно определить флаг, показывающий, что проекции совместно используют указанный параметр.

На фиг. 41 показан пояснительный вид, иллюстрирующий процесс кодирования изображений, применяемый в описанном выше многопроекционном кодеке. На фиг. 41 в качестве примера показана структура устройства 710 многопроекционного кодирования. Устройство 710 многопроекционного кодирования содержит первую секцию 720 кодирования, вторую секцию 730 кодирования и секцию 740 мультиплексирования.

Первая секция 720 кодирования кодирует изображение основной проекции и генерирует закодированный поток для основной проекции. Вторая секция 730 кодирования кодирует изображение неосновной проекции и генерирует закодированный поток для неосновной проекции. Секция 740 мультиплексирования мультиплексирует закодированный поток основной проекции, сгенерированной в первой секции 720 кодирования, и один или более закодированных потоков для неосновной проекции, сгенерированных во второй секции 730 кодирования, что нужно для генерирования мультиплексированного многопроекционного потока.

Структура первой секции 720 кодирования и второй секции 730 кодирования, которые показаны на фиг. 41, аналогична структуре устройства 10 кодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Применение фильтра удаления блочности для проекций позволяет распараллелить обработки определения необходимости фильтрации для вертикальных границ блоков и горизонтальных границ блоков или распараллелить обработки определения необходимости фильтрации и обработки фильтрации. Параметр для управления этими процессами может быть вставлен в область заголовка закодированного потока для каждой проекции или в общую область заголовка в мультиплексированный поток.

На фиг. 42 показан пояснительный вид, иллюстрирующий процесс декодирования изображений, применяемый в описанном выше многопроекционном кодеке. На фиг. 42 в качестве примера показана структура устройства 760 многопроекционного декодирования. Устройство 760 многопроекционного декодирования содержит секцию 770 демультиплексирования, первую секцию 780 декодирования и вторую секцию 790 декодирования.

Секция 770 демультиплексирования демультиплексирует мультиплексированный многопроекционный поток на закодированный поток основной проекции и закодированный поток одной или более неосновной проекции. Первая секция 780 декодирования декодирует изображение основной проекции из закодированного потока основной проекции. Вторая секция 790 декодирования декодирует изображение неосновной проекции из закодированного потока неосновной проекции.

Структура первой секции 780 декодирования и второй секции 790 декодирования, которые показаны на фиг. 42, аналогична структуре устройства 60 декодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Применение фильтра удаления блочности для проекций позволяет распараллелить обработки определения необходимости фильтрации для вертикальных границ блоков и горизонтальных границ блоков или распараллелить обработки определения необходимости фильтрации и обработки фильтрации. Параметр управления указанными обработками может быть получен из области заголовка закодированного потока для каждой проекции или из общей области заголовка в мультиплексированном потоке.

6-2. Масштабируемый кодек

Масштабируемый кодек является системой кодирования изображений, предназначенной для обеспечения иерархического кодирования. На фиг. 43 показан пояснительный вид, иллюстрирующий масштабируемый кодек. На фиг. 43 показаны последовательности кадров для трех слоев различных пространственных разрешающих способностей, разрешающих способностей по времени или качеств изображений. Каждый слой содержит идентификатор слоя (layer_id). Эти слои включают в себя основной слой с наименьшей разрешающей способностью (или качеством изображения). Слои, отличные от основного слоя, называются слоями улучшения. В примере с фиг. 43 показаны основной слой, обозначенный идентификатором "0" слоя, и два неосновных слоя, обозначенные идентификаторами "1" или "2" слоя. Кодирование данных изображения с несколькими слоями может в целом уменьшить размер закодированного потока путем кодирования кадров слоя улучшения на основе информации о кодировании кадров основного слоя.

К каждому слою можно применить фильтр удаления блочности во время процесса кодирования и процесса декодирования, которые соответствуют описанному выше масштабируемому кодеку. К каждой проекции можно применить фильтр удаления блочности, обработки определения необходимости фильтрации для вертикальных границ блока и горизонтальных границ блока для каждого слоя могут быть распараллелены на основе технологии, соответствующей настоящему изобретению. Для каждого слоя могут быть распараллелены процесс определения необходимости фильтрации и процесс фильтрации. Для каждого слоя может быть предусмотрен параметр (такой как параметр, описанный в вышеприведенном описании для секции 150 управления параллелизмом) для управления процессом определения необходимости фильтрации или процессом фильтрации. Параметр, предусмотренный для основного слоя, может быть повторно использован для слоя улучшения.

Обработки определения необходимости фильтрации или обработки фильтрации могут быть распараллелены между слоями. Слои могут совместно использовать параметр (такой как параметр, описанный в вышеприведенном описании для секции 150 управления параллелизмом) для управления обработками определения необходимости фильтрации или обработками фильтрации. Может быть целесообразно дополнительно определить флаг, показывающий, что слои совместно используют параметр.

На фиг. 44 показан пояснительный вид, иллюстрирующий обработку кодирования изображений, применяемую в описанном выше масштабируемом кодеке. На фиг. 44 показана в качестве примера структура масштабируемого устройства 810 кодирования. Масштабируемое устройство 810 кодирования содержит первую секцию 820 кодирования, вторую секцию 830 кодирования и секцию 840 мультиплексирования.

Первая секция 820 кодирования кодирует изображение основного слоя и генерирует закодированный поток для основного слоя. Вторая секция 830 кодирования кодирует изображение слоя улучшения и генерирует закодированный поток для слоя улучшения. Секция 840 мультиплексирования мультиплексирует закодированный поток основного слоя, сгенерированный в первой секции 820 кодирования, и один или более закодированных потоков слоя улучшения, сгенерированных во второй секции 830 кодирования, что нужно для генерирования мультиплексированного потока для нескольких слоев.

Структура первой секции 820 кодирования и второй секции 830 кодирования, которые показаны на фиг. 44, аналогична структуре устройства 10 кодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Применение фильтра удаления блочности для слоев позволяет распараллелить обработки определения необходимости фильтрации для вертикальных границ блоков и горизонтальных границ блоков или распараллелить обработки определения необходимости фильтрации и обработки фильтрации. Параметр для управления указанными обработками может быть вставлен в область заголовка закодированного потока для каждого слоя или в общую область заголовка в мультиплексированный поток.

На фиг. 45 показан пояснительный вид, иллюстрирующий процесс декодирования изображений, применяемый в описанном выше масштабируемом кодеке. На фиг. 45 показана в качестве примера структура масштабируемого устройства 860 декодирования. Масштабируемое устройство 860 декодирования содержит секцию 870 демультиплексирования, первую секцию 880 декодирования и вторую секцию 890 декодирования.

Секция 870 демультиплексирования демультиплексирует мультиплексированный поток для нескольких слоев на закодированный поток основного слоя и закодированный поток для одного или более слоев улучшения. Первая секция 880 декодирования декодирует изображение основного слоя из закодированного потока для основного слоя. Вторая секция 890 декодирования декодирует изображение слоя улучшения из закодированного потока для слоя улучшения.

Структура первой секции 880 декодирования и второй секции 890 декодирования, которые показаны на фиг. 45, аналогична структуре устройства 60 декодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Применение фильтра удаления блочности для слоев позволяет распараллелить обработки определения необходимости фильтрации для вертикальных границ блоков и горизонтальных границ блоков или распараллелить обработки определения необходимости фильтрации и обработки фильтрации. Параметр для управления этими обработками может быть получен из области заголовка закодированного потока для каждого слоя или из общей области заголовка в мультиплексированном потоке.

7. Пример применения

Устройство 10 кодирования изображений и устройство 60 декодирования изображений, которые соответствуют описанному выше варианту осуществления изобретения, могут быть применены в различных электронных устройствах, таких как передающее устройство и приемное устройство для спутникового вещания, кабельного вещания, такого как кабельное телевидение, распределения в интернете, распределения по конечным устройствам через сотовую связь и для подобных случаев, в записывающем устройстве, которое записывает изображения на носитель, такой как оптический диск, магнитный диск или флеш-память, в устройстве воспроизведения, которое воспроизводит изображения с такого носителя информации и в подобных устройствах. Ниже будут описаны четыре примера применения.

7-1. Первый пример приложения

На фиг. 46 показана структурная схема, иллюстрирующая пример схематической конфигурации телевизора, в котором применен описанный выше вариант осуществления изобретения. Телевизор 900 содержит антенну 901, тюнер 902, устройство 903 выделения, декодер 904, секцию 905 обработки видеосигнала, секцию 906 отображения, секцию 907 обработки аудиосигнала, динамики 908, внешний интерфейс 909, секцию 910 управления, интерфейс 911 пользователя и шину 912.

В тюнере 902 извлекают сигнал нужного канала из широковещательных сигналов, принятых через антенну 901, и демодулируют извлеченный сигнал. Далее в тюнере 902 выводят на устройство 903 разделения поток закодированных бит, полученный при демодуляции. То есть тюнер 902 служит в качестве средства передачи телевизоров 900 для приема закодированного потока, в котором изображение закодировано.

В устройстве 903 выделения выделяют видеопоток и аудиопоток программы, которую будут просматривать, из потока закодированных бит и выводят на декодер 904 каждый отделенный поток. Также в устройстве 903 выделения выделяют вспомогательные данные, такие как EPG (электронный справочник программ), из потока закодированных бит и подают извлеченные данные в секцию 910 управления. Кроме того, устройство 903 выделения может осуществлять расшифровку, в случае шифрования потока закодированных бит.

В декодере 904 декодируют видеопоток и аудиопоток, полученные от устройства 903 выделения. Далее от декодера 904 выводят на секцию 905 обработки видеосигнала видеоданные, сгенерированные в процессе декодирования. Также от декодере 904 выводят на секцию 907 обработки аудиосигнала аудиоданные, сгенерированные в процессе декодирования.

В секции 905 обработки видеосигнала воспроизводят видеоданные, полученные от декодера 904, и делают так, чтобы секция 906 отображения отображала видео. Также в секции 905 обработки видеосигнала могут делать так, чтобы секция 906 отображения отображала экран приложения, полученный по сети. Далее в секции 905 обработки видеосигнала в соответствии с настройками могут осуществлять дополнительный процесс, например, такой как подавление шумов, для видеоданных. Более того, в секции 905 обработки видеосигнала могут генерировать изображение GVI (графический интерфейс пользователя), например, такое как меню, кнопка, курсор или подобные изображения, и накладывать сгенерированное изображение на выводимое изображение.

Секцию 906 отображения приводят в действие сигналом приведения в действие, который подают от секции 905 обработки видеосигнала, и в секции 906 отображения отображают видео или изображение на видеоэкране устройства отображения (например, жидкокристаллическом дисплее, плазменном дисплее, OLED дисплее или подобных).

Секция 907 обработки аудиосигнала осуществляют обработки воспроизведения, такие как Ц/А преобразование и усиление аудиоданных, полученных из декодера 904, и выводят аудио на динамики 908. Также секция 907 обработки видеосигнала может осуществлять для аудиоданных дополнительный процесс, такой как подавление шумов.

Внешний интерфейс 909 является интерфейсом для соединения телевизора 909 и внешнего устройства или сети. Например, видеопоток и аудиопоток, принятый через внешний интерфейс 909, могут быть декодированы в декодере 904. То есть внешний интерфейс 909 служит в качестве средства передачи телевизоров 900 для приема закодированного потока, в котором изображение закодировано.

Секция 910 управления содержит процессор, такой как CPV (центральный процессор), и память, такую как RAM (оперативное запоминающее устройство) и ROM (постоянное запоминающее устройство) или подобные устройства. В памяти хранят программу, которую выполняет CPV, данные программы, данные EPG, данные, полученные по сети, и подобные данные. Программу, хранящуюся в памяти, считывают и выполняют на CPV, например, во время активации телевизора 900. CPV управляет работой телевизора 900 путем выполнения программы и в соответствии с сигналом операции, полученным, например, от интерфейса 911 пользователя.

Интерфейс 911 пользователя соединен с секцией 910 управления. Интерфейс 911 пользователя содержит, например, кнопку и переключатель, используемые пользователем для управления телевизором 900, и секцию приема для сигнала дистанционного управления. В интерфейсе 911 пользователя определяют операцию пользователя с помощью этих структурных элементов, генерируют сигнал операции и выводят сгенерированный сигнал операции на секцию 910 управления.

Шина 912 соединяет тюнер 902, устройство 903 выделения, декодер 904, секцию 905 обработки видеосигнала, секции 907 обработки аудиосигнала, внешний интерфейс 909 и секцию 910 управления.

В сконфигурированном таким образом телевизоре 900 декодер 904 обладает функцией устройства 60 декодирования изображений, которое описано выше и соответствует одному варианту осуществления изобретения. Соответственно, также в случае декодирования изображения в телевизоре 900 возможно улучшить параллельность обработок фильтра удаления блочности и обеспечить высокоскоростную обработку.

7-2. Второй пример применения

На фиг. 47 показана структурная схема, иллюстрирующая пример схематической конфигурации мобильного телефона, в котором применен описанный выше вариант осуществления изобретения. Мобильный телефон 920 содержит антенну 921, секцию 922 связи, аудиокодек 923, динамик 924, микрофон 925, секцию 926 фотокамеры, секцию 927 обработки изображений, секцию 928 выделения, секцию 929 записи/воспроизведения, секцию 930 отображения, секцию 931 управления, секцию 932 оперирования и шину 933.

Антенна 921 соединена с секцией 922 связи. Динамик 924 и микрофон 925 соединены с аудиокодеком 923. Секция 932 оперирования соединена с секцией 931 управления. Шина 933 соединяет секцию 922 связи, аудиокодек 923, секцию 926 фотокамеры, секцию 927 обработки изображений, секцию 928 выделения, секцию 929 записи/воспроизведения, секцию 930 отображения и секцию 931 управления.

Мобильный телефон 920 осуществляет такие операции, как передача/прием аудиосигнала, передача/прием электронных писем или данных изображения, формирование изображений, запись данных и подобные операции, в различных режимах работы, в том числе в режиме аудиосвязи, режиме обмена данными, режиме формирования изображения и режиме видеотелефона.

В режиме аудиосвязи аналоговый аудиосигнал, сгенерированный микрофоном 925, подают на аудиокодек 923. В аудиокодеке 923 преобразуют аналоговый аудиосигнал в аудиоданные и осуществляют А/Ц преобразование и сжимают преобразованные аудиоданные. Далее от аудиокодека 923 выводят на секцию 922 связи сжатые аудиоданные. В секции 922 связи кодируют и модулируют аудиоданные и генерируют сигнал передачи. Далее в секции 922 связи передают выработанный сигнал передачи на базовую станцию (не показана) через антенну 921. Также в секции 922 связи усиливают беспроводной сигнал, принятый через антенну 921, и преобразуют частоту беспроводного сигнала и получают принятый сигнал. Далее, секция 922 связи демодулирует и декодирует принятый сигнал и генерирует аудиоданные и выводит сгенерированные аудиоданные на аудиокодек 923. В аудиокодеке 923 расширяют и осуществляют Ц/А преобразование аудиоданных и генерируют аналоговый аудиосигнал. Далее в аудиокодеке 923 подают сгенерированный аудиосигнал на динамик 924 и выводят аудио.

Также в режиме обмена данных в секции 931 управления генерируют текстовые данные, которые входят в электронное письмо, в соответствии с операцией пользователя, например, через секцию 932 оперирования. Более того, секция 931 управления вызывает отображение текста секцией 930 отображения. Более того, секция 931 управления генерирует данные электронного письма в соответствии с командой передачи пользователя через секцию 932 оперирования и выдает сгенерированные данные электронного письма на секцию 922 связи. Далее, секция 922 связи кодирует и модулирует данные электронного письма и генерирует сигнал передачи. Далее секция 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Также секция 922 связи усиливает беспроводной сигнал, принятый через антенну 921, и преобразует частоту беспроводного сигнала и получает принятый сигнал. Далее, секции 922 связи демодулирует и декодирует принятый сигнал и восстанавливает данные электронного письма и выводит восстановленные данные электронного письма на секцию 931 управления. Секции 931 управления вызывает отображение секцией 930 отображения, содержимого электронного письма, и вызывает сохранение данных электронного письма на носителе информации секции 929 записи/воспроизведения.

Секция 929 записи/воспроизведения содержит носитель информации произвольного доступа для чтения и записи. Например, носитель информации может быть встроенным носителем информации, таким как RAM, флеш-памятью или подобным устройством, или внешне установленным носителем информации, таким как накопитель на жестких дисках, магнитный диск, магнитооптический диск, оптический диск, USB память, карта памяти и подобное устройство.

Более того, в режиме формирования изображения, секция 926 фотокамеры формирует, например, изображение объекта, генерирует данные изображения и выводит сгенерированные данные изображения на секцию 927 обработки изображений. В секции 927 обработки изображения кодируют данные изображения, полученные от секции 926 фотокамеры, и делают так, чтобы закодированный поток сохранялся на носителе информации секции 929 записи/воспроизведения.

Более того, в режиме видеотелефона в секции 928 выделения объединяют видеопоток, закодированный в секции 927 обработки изображения, и аудиопоток, полученный из аудиокодека 923, и, например, выводят объединенный поток на секцию 922 связи. Секция 922 связи кодирует и модулирует поток и генерирует сигнал передачи. Далее секция 922 связи передает сгенерированный сигнал передачи на базовую станцию (не показана) через антенну 921. Также секция 922 связи усиливает беспроводной сигнал, принятый через антенну 921, и преобразует частоту беспроводного сигнала и получает принятый сигнал. Эти сигнал передачи и сигнал приема могут содержать закодированный поток бит. Далее, секция 922 связи демодулирует и декодирует принятый сигнал и восстанавливает поток и выводит восстановленный поток на секцию 928 выделения. Секция 928 выделения выделяет видеопоток и аудиопоток из входного потока и выводит видеопоток на секцию 927 обработки изображения и аудиопоток на аудиокодек 923. В секции 927 обработки изображения декодируют видеопоток и генерирует видеоданные. Видеоданные подают на секцию 930 отображения и набор изображений отображается секцией 930 отображения. Аудиокодек 923 расширяет и осуществляет Ц/А преобразование аудиопотока и генерирует аналоговый аудиосигнал. Далее аудиокодек 923 подает сгенерированный аудиосигнал на динамик 924 и вызывает вывод аудио.

В сконфигурированном таким образом мобильном телефоне 920 секция 927 обработки изображения обладает функцией устройства 10 кодирования изображений и устройства 60 декодирования изображений, которые соответствуют описанному выше варианту осуществления изобретения. Соответственно, также в случае декодирования и кодирования изображения в мобильном телефоне 920 возможно улучшить распараллеливание обработок фильтра удаления блочности и обеспечить высокоскоростную обработку.

7-3. Третий пример применения

На фиг. 48 показана структурная схема, иллюстрирующая пример схематической конфигурации устройства записи/воспроизведения, в котором применен описанный выше вариант осуществления изобретения. В устройстве 940 записи/воспроизведения кодируют и записывают на носитель информации, например, аудиоданные и видеоданные принятой широковещательной программы. В устройстве 940 записи/воспроизведения могут также кодировать и записывать на носитель информации, например, аудиоданные и видеоданные, полученные от другого устройства. Более того, в устройстве 940 записи/воспроизведения воспроизводят с использованием монитора или динамиков данные, записанные на носителе информации, что делают, например, в соответствии с командой пользователя. В это время в устройстве 940 записи/воспроизведения декодируют аудиоданные и видеоданные.

Устройство 940 записи/воспроизведения содержит тюнер 941, внешний интерфейс 942, устройство 943 кодирования, HDD 944 (накопитель на жестких магнитных дисках), дисковод 945, переключатель 946, устройство 947 декодирования, устройство 948 OSD (отображение на экране), секцию 949 управления и интерфейс 950 пользователя.

Тюнер 941 извлекает сигнал нужного канала из широковещательных сигналов, принятых через антенну (не показана), и демодулирует извлеченный сигнал. Далее тюнер 941 выводит на переключатель 946 поток закодированных бит, полученный при демодуляции. То есть, тюнер 941 служит в качестве средства передачи устройство 940 записи/воспроизведения.

Внешний интерфейс 942 является интерфейсом для соединения устройства 940 записи/воспроизведения и внешнего устройства или сети. Например, внешний интерфейс 942 может быть интерфейсом IEEE 1394, сетевым интерфейсом, USB интерфейсом, интерфейсом флеш-памяти или подобным интерфейсом. Например, видеоданные и аудиоданные, принятые с помощью внешнего интерфейса 942, вводят в устройство 943 кодирования. То есть, внешний интерфейс 942 служит в качестве средства передачи устройства 940 записи/воспроизведения.

В случае, когда видеоданные и аудиоданные, введенные с помощью внешнего интерфейса 942, не закодированы, устройство 943 кодирования кодирует видеоданные и аудиоданные. Далее устройство 943 кодирования выводит на переключатель 946 поток закодированных бит.

HDD 944 записывает во внутренний накопитель на жестких дисках поток закодированных бит, который является сжатым содержимым видеоданных или аудиоданных, различных программ или других частей данных. Также HDD 944 считывает эти части данных с накопителя на жестких дисках во время воспроизведения видео или аудио.

С помощью дисковода 945 записывают или считывают данные с установленного носителя информации. Носитель информации, установленный в дисковод 945, может быть, например, DVD диском (диском DVD-Video, диском DVD-RAM, диском DVD-R, диском DVD-RW, диском DVD+, диском DVD+RW или подобным диском), диском Blu-ray (зарегистрированная торговая марка) или подобным носителем информации.

Переключатель 946 выбирает, во время записи видео или аудио, поток закодированных бит, полученный от тюнера 941 или устройства 943 кодирования, и выводит выбранный поток закодированных бит на HDD 944 или дисковод 945. Также переключатель 946 выводит, во время воспроизведения видео или аудио, поток закодированных бит, полученный из HDD 944 или дисковод 945, на устройство 947 декодирования.

В декодер 947 декодирует поток закодированных бит и генерирует видеоданные и аудиоданные. Далее устройство 947 декодирования выводы на устройство 948 OSD сгенерированные видеоданные. Также устройство 904 декодирования выводит на внешние динамики сгенерированные аудиоданные.

Устройство 948 OSD воспроизводит видеоданные, полученные от устройства 947 декодирования, и отображает видео. Также устройство 948 OSD можнт накладывать изображение GIV, например, такое как меню, кнопка, курсор или подобное изображение, на отображаемое видео.

Секция 949 управления содержит процессор, такой как CPV, память, такую как RAM или ROM. В памяти хранят программу, выполняемую CPV, программные данные и подобную информацию. Программу, хранящуюся в памяти, считывают и выполняют на CPV, например, во время активации устройства 940 записи/воспроизведения. CPV управляет работой устройства 940 записи/воспроизведения путем выполнения программы и в соответствии с сигналом работы, полученным, например, от интерфейса 950 пользователя.

Интерфейс 950 пользователя соединен с секцией 949 управления. Интерфейс 950 пользователя содержит кнопку и переключатель, используемые пользователем для управления устройством 940 записи/воспроизведения, и секцию приема, например, для сигнала дистанционного управления. Интерфейс 950 пользователя определяет операцию пользователя с помощью этих структурных элементов, генерирует сигнал операции и выводит сгенерированный сигнал операции на секцию 949 управления.

В сконфигурированном таким образом устройстве 940 записи/воспроизведения декодер 943 обладает функцией устройства 10 декодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Также устройство 940 записи/воспроизведения декодер 947 обладает функцией устройства 60 декодирования изображений, которое соответствует описанному выше варианту осуществления изобретения. Соответственно, также в случае декодирования и кодирования изображения в устройстве 940 записи/воспроизведения возможно улучшить распараллеливание обработок фильтра удаления блочности и обеспечить высокоскоростную обработку.

7-4. Четвертый пример применения

На фиг. 49 показана структурная схема, иллюстрирующая пример схематической конфигурации устройства формирования изображений, в котором применен описанный выше вариант осуществления изобретения. Устройство 960 формирования изображений формирует изображение объекта, генерирует изображение, кодирует данные изображения и записывает данные изображения на носитель информации.

Устройство 960 формирования изображений содержит оптический блок 961, секцию 962 формирования изображения, секцию 963 обработки сигнала, секцию 964 обработки изображения, секцию 965 отображения, внешний интерфейс 966, память 967, привод 968 носителя, устройство 969 OSD, секцию 970 управления, интерфейс 971 пользователя и шину 972.

Оптический блок 961 соединен с секцией 962 формирования изображения. Секция 962 формирования изображения соединена с секцией 963 обработки сигнала. Секция 965 отображения соединена с секцией 964 обработки изображения. Интерфейс 971 пользователя соединен с секцией 970 управления. Шина 972 соединяет секцию 964 обработки изображений, внешний интерфейс 966, память 967, привод 968 носителя, устройство 969 ОЭ и секцию 970 управления.

Оптический блок 961 содержит объектив, механизм диафрагмы и подобные элементы. Оптический блок 961 формирует оптическое изображение объекта на поверхности формирования изображения секции 962 формирования изображений. Секция 962 формирования изображений содержит датчик изображения, такой как ПЗС, КМОП и подобный, при этом секция 962 формирования изображений преобразует с помощью фотоэлектрического преобразования оптическое изображение, полученное на поверхности формирования изображения, в сигнал изображения, который является электрическим сигналом. Далее секция 962 формирования изображения выводит сигнал изображения на секцию 963 обработки сигнала.

В секции 963 обработки сигнала осуществляет различные обработки обработки сигнала фотокамеры, такие как коррекция изгиба, гамма коррекция, коррекция цвета и подобные обработки, для сигнала изображения, полученного от секции 962 формирования изображения. В секции 963 обработки сигнала выводят данные изображения после процесса обработки сигнала фотокамеры на секцию 964 обработки изображения.

Секция 964 обработки изображения кодирует данные изображения, полученные от секции 963 обработки сигнала, и генерирует закодированные данные. Далее секция 964 обработки изображения выводит сгенерированные закодированные данные на внешний интерфейс 966 или привод 968 носителя. Также секция 964 обработки изображения декодирует закодированные данные, полученные от внешнего интерфейса 966 или привода 968 носителя, и генерирует данные изображения. Далее секция 964 обработки изображения выводит сгенерированные данные изображения на секцию 965 отображения. Также секция 964 обработки изображения может вывести данные изображения, полученные от секции 963 обработки сигнала, на секцию 965 отображения и сделать так, чтобы отображать изображение. Более того, секция 964 обработки изображения может накладывать данные для отображения, полученные от устройства 969 OSD, на изображение, которое будут выводить на секцию 965 отображения.

Устройство 969 OSD генерирует изображение GIV, например, такое как меню, кнопка, курсор или подобное, и выводят сгенерированное изображение на секцию 964 обработки изображения.

Внешний интерфейс 966 сконфигурирован, например, как терминал USB входа/выхода. Внешний интерфейс 966 соединяет устройство 960 формирования изображений и принтер, например, во время печати изображения. Также при необходимости к внешнему интерфейсу 966 присоединен привод. В привод устанавливают съемный носитель, например, такой как магнитный диск, оптический диск и подобное, и в устройство 960 формирования изображений может быть установлена программа, считанная со съемного носителя. Более того, внешний интерфейс 966 может быть сконфигурирован в виде сетевого интерфейса для соединения с сетью, такой как локальная сеть, интернет и подобные сети. То есть, внешний интерфейс 966 служит в качестве средства передачи устройства 960 формирования изображений.

Носитель информации, который устанавливают в приводе 968 носителя, может быть носителем информации произвольного доступа для чтения и записи, например, таким как магнитный диск, магнитооптический диск, оптический диск, полупроводниковая память и подобным носителем. Также носитель информации может быть неподвижно установлен в приводе 968 носителя, формируя несъемную секцию хранения, такую как встроенный накопитель на жестких магнитных дисках или SSD (твердотельный накопитель).

Секция 970 управления содержит процессор, такой как CPV, и память, такую как RAM или ROM. В памяти хранят программу, выполняемую CPV, программные данные и подобную информацию. Программу, хранящуюся в памяти, считывают и выполняют на CPV, например, во время активации устройства 960 формирования изображений. CPV управляет работой устройства 960 формирования изображений путем выполнения программы и в соответствии с сигналом работы, полученным, например, от интерфейса 971 пользователя.

Интерфейс 971 пользователя соединен с секцией 970 управления. Интерфейс 971 пользователя содержит, например, кнопку, переключатель и подобное устройство, используемое пользователем для управления устройством 960 формирования изображений. В интерфейсе 971 пользователя определяют операцию пользователя с помощью этих структурных элементов, генерируют сигнал операции и выводят выработанный сигнал операции в секцию 970 управления.

В сконфигурированном таким образом устройстве 960 формирования изображений секция 964 обработки изображений обладает функцией устройства 10 кодирования изображений и устройства 60 декодирования изображений, которые соответствуют описанному выше варианту осуществления изобретения. Соответственно, также в случае декодирования и кодирования изображения в устройстве 960 формирования изображений возможно улучшить распараллеливание обработок фильтра удаления блочности и обеспечить высокоскоростную обработку.

8. Подведение итогов

Со ссылками на фиг. 1-49 были описаны три демонстрационных примера фильтров удаления блочности для устройства 10 кодирования изображений и устройства 60 декодирования изображений, которые соответствуют изобретению. В трех демонстрационных примерах используют значения пикселей, поданные на фильтры удаления блочности, с целью определения, нужно или нет применять фильтры удаления блочности для вертикальной границы и для горизонтальной границы. Обработки определения могут быть осуществлены параллельно, независимо от результатов процесса фильтрации. Зависимость обработок между макроблоками исключают с целью обеспечения распараллеливания обработок для макроблоков. В результате возможно исключить задержку или уменьшение скорости обработки данных из-за большого объема обработки фильтрами удаления блочности и обеспечить высокоскоростную обработку. Распараллеливание и последовательности обработок, осуществляемых фильтром удаления блочности, могут быть гибко сконфигурированы в соответствии с различными условиями, такими как размеры изображения или среда установки.

В соответствии с первым демонстрационным примером, при определении необходимости применения фильтра удаления блочности для вертикальных границ используют значения пикселей, принадлежащих строкам, к которым не применяют определение для горизонтальных границ. При определении необходимости применения фильтра удаления блочности для горизонтальных границ используют значения пикселей, принадлежащих строкам, к которым не применяют определение для вертикальных границ. Обработка фильтрации для одного блока не обновляет значение пикселя, использованное для обработки определения необходимости фильтрации для другого блока. Значения пикселей, поданные на фильтр удаления блочности, не нужно сохранять в дополнительной памяти, даже если обработка определения необходимости фильтрации для заданного блока осуществляют после процесса фильтрации другого блока. Это может сэкономить затраты на аппаратное обеспечение, нужные для установки устройства.

В соответствии со вторым демонстрационным примером, память, которая не обновлена обработкой фильтрации, сохраняет значение пикселя, поданное на фильтр удаления блочности. Обработки определения необходимости фильтрации обращаются к входному значению пикселя. В этом случае обработки определения необходимости фильтрации обращаются к пикселю, положение которого свободно от ограничений. Это позволяет использовать гибкие условия определения, подходящие для различных целей, таких как более точное определение необходимости фильтрации или определение с уменьшенными затратами на обработку.

В соответствии с третьим демонстрационным примером, обработки фильтрации для вертикальных и горизонтальных границ осуществляют фильтрацию пикселей, поданных на вход фильтра удаления блочности. При такой структуре возможно распараллеливать друг с другом обработки фильтрации для вертикальных и горизонтальных границ. Это может дополнительно ускорить обработки, осуществляемые фильтром удаления блочности. Выходное значение пикселя вычисляют на основе выходов двух фильтров для пикселя, обновленных двумя обработками фильтрации, осуществляемыми параллельно. Распараллеливание двух обработок фильтрации также может надлежащим образом уменьшить блочность изображения, появляющуюся на вертикальной и горизонтальной границах. Выходное значение пикселя может быть вычислено в виде взвешенного среднего выходов двух фильтров. Это может позволить фильтру удаления блочности более эффективно удалять блочность изображения и дополнительно улучшить качество изображения.

В описании в основном содержатся примеры, когда обработки фильтрации для вертикальных границ предшествуют обработкам фильтрации для горизонтальных границ. Кроме того, описанные выше эффекты технологии, соответствующей изобретению, в равной степени доступны для случая, когда обработки фильтрации для горизонтальных границ предшествуют обработкам фильтрации для вертикальных границ. Фильтр удаления блочности, обрабатывающий элемент или макроблок, может иметь другие размеры, отличающиеся от описанных в этом документе. В доступной технологии могут быть опущены обработки определения необходимости фильтрации и может быть распараллелено применение фильтра удаления блочности для вертикальных и горизонтальных границ.

Технология передачи информации, используемая для распараллеливания обработки фильтром удаления блочности от стороны кодирования до стороны декодирования, не ограничена технологией мультиплексирования информации в заголовок закодированного потока. Например, информация может быть не мультиплексирована в закодированный поток бит, но может быть передана или записана в виде отдельных данных, связанных с закодированным потоком бит. Под термином «связана» понимается обеспечение возможности связывания изображения (или части изображения, такой как срез или блок), содержащегося в потоке бит, с информацией, соответствующей изображению. А именно, информация может быть передана по каналу передачи, который отличается от канала, используемого для изображений (или потоков бит). Информация может быть записана на носитель информации (или в другую область записи на том же самом носителе информации), отличный от носителя, используемого для изображений (или потоков бит). Информация и изображение (или поток бит) могут быть связаны друг с другом на основе любых элементов, таких как несколько кадров, один кадр или часть кадра.

Предпочтительные варианты осуществления настоящего изобретения описаны выше со ссылками на приложенные чертежи, при этом настоящее изобретение конечно не ограничено приведенными выше примерами. Специалист в рассматриваемой области может предложить различные изменения и модификации, находящиеся в пределах объема настоящего изобретения, определенного приложенной формулой изобретения, и надо понимать, что эти изменения и модификации естественно находятся в рамках объема настоящего изобретения.

В описании представлены обработки фильтрации для вертикальных границ как «горизонтальная фильтрация» и обработки фильтрации для горизонтальных границ как «вертикальная фильтрация». В общем, обработки фильтрации для вертикальных границ используют горизонтально расположенные наборы фильтров. Обработки фильтрации для горизонтальных границ используют вертикально расположенные наборы для фильтров. По этой причине описанная выше номенклатура используется для обработок фильтрации.

Список ссылочных позиций

10, 60 устройство обработки изображений

112-1 - 112-n, 212-1 - 212-n первая секция определения (секция определения для вертикальных границ)

114-1 - 114-n, 214-1 - 214-n вторая секция определения (секция определения для горизонтальных границ)

132-1 - 132-n, 332-1 - 332-n первая секция фильтрации (секция горизонтальной фильтрации)

142-1 - 142-n, 342-1 - 342-n вторая секция фильтрации (секция вертикальной фильтрации)

150 секция управления распараллеливанием

208 линейная память (память)

360 секция вычислений

Изобретение относится к области техники обработки изображений, в частности к применению фильтра удаления блочности для стандарта высокоэффективного кодирования видео (HEVC). Техническим результатом является обеспечение параллельной обработки при применении фильтра удаления блочности. Предложено устройство обработки изображений, содержащее: секцию декодирования для декодирования изображения из закодированного потока, секцию определения для осуществления обработок определения для определения, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границам блока, в изображении, декодируемом секцией декодирования, секцию фильтрации для применения фильтра удаления блочности к соседним блокам, для которых в секции определения определена необходимость применения фильтра удаления блочности, и секцию управления для разрешения секции определения осуществить обработки для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей. 2 н. и 2 з.п. ф-лы, 49 ил.

1. Устройство обработки изображений, содержащее:

секцию определения горизонтальной обработки, выполненную с возможностью параллельного осуществления обработки определения горизонтальной фильтрации для множества вертикальных границ блоков среди множества блоков, имеющих размер 8×8 пикселей, и для множества наибольших блоков кодирования (LCU) в локально декодированном декодируемом изображении, при этом каждая из обработок определения горизонтальной фильтрации выполнена с возможностью определения, применять ли фильтрацию удаления блочности к пикселям, соседним к вертикальной границе блока, независимо от обработок определения горизонтальной фильтрации для других вертикальных границ блоков; и

секцию горизонтальной фильтрации, выполненную с возможностью применения фильтрации удаления блочности параллельно к вертикальным границам, определенным посредством обработки определения горизонтальной фильтрации, для генерирования первого фильтрованного изображения;

секцию определения вертикальной обработки, выполненную с возможностью параллельного осуществления обработки определения вертикальной фильтрации для множества горизонтальных границ блоков среди множества блоков, имеющих размер 8×8 пикселей, и для множества LCU в указанном фильтрованном изображении, при этом каждая из обработок определения вертикальной фильтрации выполнена с возможностью определения, применять ли фильтрацию удаления блочности к пикселям, соседним к горизонтальной границе блока, независимо от обработок определения вертикальной фильтрации для других горизонтальных границ блоков;

секцию вертикальной фильтрации, выполненную с возможностью применения фильтрации удаления блочности параллельно к горизонтальным границам, определенным посредством обработки определения вертикальной фильтрации, для генерирования второго фильтрованного изображения; и

секцию кодирования, выполненную с возможностью кодирования изображения с использованием указанного второго фильтрованного изображения.

2. Устройство обработки изображений по п. 1, в котором указанная секция кодирования выполнена с возможностью кодирования изображения на основе блоков кодирования (CU); при этом указанные блоки кодирования сформированы посредством разделения LCU на меньшие блоки кодирования в качестве разбиения блока.

3. Способ обработки изображений, содержащий этапы, на которых:

параллельно осуществляют обработку определения горизонтальной фильтрации для множества вертикальных границ блоков среди множества блоков, имеющих размер 8×8 пикселей, и для множества наибольших блоков кодирования (LCU) в локально декодированном декодируемом изображении, при этом каждая из обработок определения горизонтальной фильтрации выполнена с возможностью определения, применять ли фильтрацию удаления блочности к пикселям, соседним к вертикальной границе блока, независимо от обработок определения горизонтальной фильтрации для других вертикальных границ блоков; и

применяют фильтрацию удаления блочности параллельно к вертикальным границам, определенным посредством обработки определения горизонтальной фильтрации, для генерирования первого фильтрованного изображения;

параллельно осуществляют обработку определения вертикальной фильтрации для множества горизонтальных границ блоков среди множества блоков, имеющих размер 8×8 пикселей, и для множества LCU в указанном фильтрованном изображении, при этом каждая из обработок определения вертикальной фильтрации выполнена с возможностью определения, применять ли фильтрацию удаления блочности к пикселям, соседним к горизонтальной границе блока, независимо от обработок определения вертикальной фильтрации для других горизонтальных границ блоков;

применяют фильтрацию удаления блочности параллельно к горизонтальным границам, определенным посредством обработки определения вертикальной фильтрации для генерирования второго фильтрованного изображения; и

выполняют кодирование изображения с использованием указанного второго фильтрованного изображения.

4. Способ обработки изображений по п. 3, в котором этап выполнения кодирования изображения осуществляют на основе блоков кодирования (CU); при этом указанные блоки кодирования сформированы посредством разделения LCU на меньшие блоки кодирования в качестве разбиения блока.