Способ и устройство для видеокодирования Российский патент 2022 года по МПК H04N19/96 H04N19/55 H04N19/593 

ВКЛЮЧЕНИЕ ПОСДЕСТВОМ ССЫЛКИ

[0001] Настоящее изобретение испрашивает приоритет патентной заявки США №16/528,148, "Method and Apparatus for Video Coding", поданной 31 июля 2019 г., которая испрашивает приоритет предварительной заявки США №62/816,125, "Search Range Adjustment for Intra Picture Block Compensation", поданной 9 марта 2019 г. и предварительной заявки США №62/735,002, "Reference Search Range Optimization for Intra Picture Block Compensation", поданной 21 сентября 2018 г. Содержание предыдущих заявок, таким образом, включено посредством ссылки в полном объеме.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0002] В настоящей заявке описаны варианты осуществления, в целом относящиеся к видеокодированию.

УРОВЕНЬ ТЕХНИКИ

[0003] Описание уровня техники приведено здесь с целью представления в целом контекста изобретения. Работа авторов изобретения, в той мере, в какой она описана в этом разделе, а также аспекты описания, которые не могут квалифицироваться как уровень техники на момент подачи заявки, ни прямо, ни косвенно не признаются уровнем техники, лежащим в основе настоящего изобретения.

[0004] Кодирование и декодирование видеосигнала может осуществляться с использованием предсказания между изображениями с компенсацией движения. Цифровое видео без сжатия может включать в себя последовательность изображений, каждое из которых имеет пространственный размер, например, 1920 × 1080 отсчетов яркости и связанных с ними отсчетов цветности. Последовательность изображений может иметь фиксированную или переменную частоту смены изображений (неформально также называемую частотой кадров), например, 60 изображений в секунду, или 60 Гц. Видео без сжатия предъявляет значительные требования к битовой скорости. Например, видео 1080р60 4:2:0 с 8 битами на отсчет (разрешение отсчетов яркости 1920×1080 при частоте кадров 60 Гц) требует полосы около 1,5 Гбит/с. Час такого видео требует объема памяти более 600 ГБ.

[0005] Одной целью кодирования и декодирования видеосигнала может быть снижение избыточности во входном видеосигнале путем сжатия. Сжатие может способствовать смягчению вышеупомянутых требований к полосе или объему памяти, в ряде случаев на два порядка величины или более. Можно использовать как сжатие без потерь, так и сжатие с потерями, а также их комбинацию. Сжатие без потерь относится к методам реконструкции точной копии исходного сигнала из сжатого исходного сигнала. При использовании сжатия с потерями реконструированный сигнал может быть не идентичен исходному сигналу, но расхождение между исходным и реконструированным сигналами достаточно мало, так чтобы реконструированный сигнал можно было использовать для намеченного применения. Сжатие с потерями широко применяется для видео. Допустимая степень искажения зависит от применения; например, пользователи некоторых заказных потоковых приложений могут мириться с более высокими искажениями, чем пользователи телевещательных приложений. Достижимая степень сжатия может отражать, что более высокое разрешенное/допустимое искажение может давать более высокую степень сжатия.

[0006] Кодер и декодер видеосигнала может использовать методы из нескольких широких категорий, включающих в себя, например, компенсацию движения, преобразование, квантование и энтропийное кодирование.

[0007] Технологии видеокодека могут включать в себя методы, известные как внутреннее кодирование. При внутреннем (интра-) кодировании значения отсчетов представляются без ссылки на отсчеты или другие данные из ранее реконструированных опорных изображений. В некоторых видеокодеках изображение пространственно разделяется на блоки отсчетов. Когда все блоки отсчетов кодируются в интра-режиме, изображение называется интра-изображением. Интра-изображения и их производные, например, изображения, полученные в режиме независимого обновления декодера, могут использоваться для сброса состояния декодера, что позволяет использовать их как первое изображение в битовом потоке кодированного видео и видеосеансе, или как неподвижное изображение. Отсчеты интра-блока могут подвергаться преобразованию, и коэффициенты преобразования могут квантоваться до энтропийного кодирования. Внутреннее предсказание может быть методом минимизации значений отсчетов в области предварительного преобразования. В ряде случаев, чем меньше значение DC (постоянной составляющей) после преобразования, и чем меньше коэффициенты АС (переменных составляющих), тем меньше битов требуется при данном размере шага квантования для представления блока после энтропийного кодирования.

[0008] Традиционное внутреннее кодирование, известное, например, из технологий кодирования поколения MPEG-2, не использует внутреннего предсказания. Однако некоторые более современные технологии сжатия видео включают в себя методы, которые пытаются, например, из данных окружающих отсчетов и/или метаданных, полученных в ходе кодирования/декодирования пространственно соседних и предшествующих в порядке декодирования, блоков данных. Такие методы далее именуются методами "внутреннего предсказания". Заметим, что по меньшей мере в некоторых случаях внутреннее предсказание осуществляется только с использованием опорных данных из текущего изображения, подлежащего реконструкции, но не из опорных изображений.

[0009] Может существовать много разных форм внутреннего предсказания. Когда в данной технологии видеокодирования может использоваться более одного из таких методов, используемый метод может кодироваться в режиме внутреннего предсказания. В некоторых случаях, режимы могут иметь подрежимы и/или параметры, которые могут кодироваться по отдельности или включаться в кодовое слово режима. Использование того или иного кодового слова для данной комбинации режимов/подрежимов/параметров может оказывать влияние на выигрыш в эффективности кодирования посредством внутреннего предсказания и, следовательно, на технологию энтропийного кодирования, используемую для перевода кодовых слов в битовый поток.

[0010] Определенный режим внутреннего предсказания впервые был задан в Н.264, уточнен в Н.265, и дополнительно уточнен в более современных технологиях кодирования, например, модели совместного исследования (JEM, joint exploration model), универсального видеокодирования (VVC, versatile video coding) и наборе эталонов (BMS, benchmark set). Блок предсказателя может формироваться с использованием значений соседних отсчетов, принадлежащих уже доступным отсчетам. Значения соседних отсчетов копируются в блок предсказателя согласно направлению. Ссылка на используемое направление может кодироваться в битовом потоке или может сама предсказываться.

[0011] В нижнем правом углу фиг. 1 изображено подмножество из девяти направлений предсказателя множества, известного из 33 возможных направлений предсказателя Н.265 (соответствующих 33 угловым режимам из 35 интра-режимов). Точка (101), где сходятся стрелки, представляет предсказываемый отсчет. Стрелки представляют направление, из которого предсказывается отсчет. Например, стрелка (102) указывает, что отсчет (101) предсказывается из отсчета или отсчетов, расположенного(ых) вверху справа, под углом 45 градусов к горизонтали. Аналогично, стрелка (103) указывает, что отсчет (101) предсказывается из отсчета или отсчетов расположенного(ых) внизу слева от отсчета (101), под углом 22,5 градусов к горизонтали.

[0012] В верхнем левом углу фиг. 1 изображен квадратный блок (104) 4×4 отсчетов (указанный жирной пунктирной линией). Квадратный блок (104) включает в себя 16 отсчетов, каждая из которых обозначена буквой "S", позицией по оси Y (например, индексом строки) и позицией по оси X (например, индексом столбца). Например, отсчет S21 является вторым отсчетом по оси Y (сверху) и первым (слева) отсчетом по оси X. Аналогично, отсчет S44 является четвертым отсчетом в блоке (104) по обеим осям Y и X. Поскольку блок имеет размер 4×4 отсчета, S44 располагается внизу справа. Дополнительно показаны опорные отсчеты, которые следуют аналогичной схеме нумерации. Опорный отсчет обозначается буквой R, своей Y-позицией (например, индексом строки) и Х-позицией (индексом столбца) относительно блока (104). В обоих Н.264 и Н.265 предсказанные отсчеты соседствуют с блоком, подлежащим реконструкции; поэтому нет необходимости использовать отрицательные значения.

[0013] Предсказание внутри изображения может работать путем копирования опорных значений отсчетов из соседних отсчетов, указанных сигнализируемым направлением предсказания. Например, предположим, что битовый поток кодированного видео включает в себя сигнализацию, которая, для этого блока, указывает направление предсказания, обозначенное стрелкой (102) - то есть отсчеты предсказываются из предсказанного(ых) отсчета или отсчетов, расположенного(ых) вверху справа, под углом 45 градусов к горизонтали. В этом случае отсчеты S41, S32, S23 и S14 предсказываются из одного и того же опорного отсчета R05. Затем отсчет S44 предсказывается из опорного отсчета R08.

[0014] В некоторых случаях значения множества опорных отсчетов можно комбинировать, например посредством интерполяция, для вычисления опорного отсчета; в особенности, когда направления не кратны 45 градусам.

[0015] Количество возможных направлений увеличивается по мере развития технологий видеокодирования. В Н.264 (2003 год) можно было представлять девять разных направлений. В Н.265 это количество увеличилось до 33 (2013 год), и JEM/VVC/BMS, во время составления данного описания, может поддерживать до 65 направлений. Были проведены эксперименты для выявления наиболее вероятных направлений, и некоторые методы энтропийного кодирования используются для представления этих вероятных направлений малым количеством битов, ценой утраты некоторых менее вероятных направлений. Дополнительно, сами направления иногда можно предсказывать из соседних направлений, используемых в соседних, уже декодированных, блоках.

[0016] На фиг. 2 показана диаграмма (201), где изображено 65 направлений внутреннего предсказания согласно JEM для иллюстрации увеличения количества направлений предсказания с течением времени.

[0017] Картирование битов направлений внутреннего предсказания в битовом потоке кодированного видео, которые представляют направление, может отличаться от одной технологии видеокодирования к другой технологии видеокодирования; и может охватывать, например, от простого прямого отображения направления предсказания до режима внутреннего предсказания, кодовых слов, сложных адаптивных схем, задействующих наиболее вероятные режимы, и аналогичных методов. Однако во всех случаях могут существовать некоторые направления, возникновение которых в видеоконтенте статистически менее вероятно, чем для некоторых других направлений. Поскольку целью сжатия видео является снижение избыточности, эти менее вероятные направления, в хорошо работающей технологии видеокодирования, будут представляться большим количеством битов, чем более вероятные направления.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0018] Аспекты изобретения предусматривают способы и устройства для кодирования/декодирования видеосигнала. В некоторых примерах устройство для видеодекодирования включает в себя схему обработки. Схема обработки декодирует информацию предсказания текущего блока из битового потока кодированного видео, где информация предсказания указывает на режим интра-блочного копирования, и текущий блок является одним из множества блоков кодирования в текущей области текущего блока дерева кодирования (СТВ, coding tree block) в текущем изображении. Схема обработки определяет, подлежит ли текущий блок реконструкции первым в текущей области. Когда текущий блок подлежит реконструкции первым в текущей области, схема обработки определяет вектор блока для текущего блока. Опорный блок, указанный вектором блока, находится в зоне поиска, которая исключает соответственно расположенную область в ранее реконструированном СТВ, и позиция соответственно расположенной области в ранее реконструированном СТВ имеет такую же относительную позицию, как и текущая область в текущем СТВ. Зона поиска находится в текущем изображении. Схема обработки реконструирует по меньшей мере один отсчет текущего блока согласно вектору блока. Зона поиска может включать в себя блоки кодирования, которые реконструированы после соответственно расположенной области и до текущего блока.

[0019] Согласно варианту осуществления, размер текущего СТВ равен размеру опорной памяти, ранее реконструированный СТВ соседствует с текущим СТВ слева, позиция соответственно расположенной области смещена на ширину текущего СТВ от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и ранее реконструированного СТВ.

[0020] Например, размер текущего СТВ и ранее реконструированного СТВ равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 64 × 64 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 64 × 64 отсчета, позиция соответственно расположенной области смещена на 128 отсчетов от позиции текущей области, причем текущая область является одной из четырех областей в текущем СТВ, и соответственно расположенная область является одной из четырех областей в ранее реконструированном СТВ. Четыре области в текущем СТВ могут включать в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область, четыре области в ранее реконструированном СТВ могут включать в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область. Когда текущая область является верхней левой областью текущего СТВ, соответственно расположенная область является верхней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область ранее реконструированного СТВ. Когда текущая область является верхней правой областью текущего СТВ, соответственно расположенная область является верхней правой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область и верхнюю правую область ранее реконструированного СТВ. Когда текущая область является нижней левой областью текущего СТВ, соответственно расположенная область является нижней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область, верхнюю правую область и нижнюю левую область ранее реконструированного СТВ. Когда текущая область является нижней правой областью текущего СТВ, соответственно расположенная область является нижней правой областью ранее реконструированного СТВ, и зона поиска исключает ранее реконструированный СТВ.

[0021] Например, текущий СТВ включает в себя четыре области, имеющие одинаковые размер и форму, ранее реконструированный СТВ включает в себя четыре области, имеющие одинаковые размер и форму, текущая область является одной из четырех областей в текущем СТВ, и соответственно расположенная область является одной из четырех областей в ранее реконструированном СТВ.

[0022] Согласно варианту осуществления, размер текущего СТВ меньше размера опорной памяти, позиция соответственно расположенной области смещена на расстояние, кратное ширине текущего СТВ, от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ, ранее реконструированного СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ. Например, размер текущего СТВ равен 64 × 64 отсчета, размер опорной памяти равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 32 × 32 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 32 × 32 отсчета, позиция соответственно расположенной области смещена на 256 отсчетов от позиции текущей области. Например, блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ. Например, зона поиска исключает ранее реконструированный СТВ, который смещен на N значений ширины текущего СТВ от текущего СТВ, где N - отношение размера опорной памяти к размеру текущего СТВ.

[0023] Аспекты изобретения также предусматривают компьютерно-считываемый носитель, где хранятся инструкции, которые, при выполнении компьютером для видеодекодирования, предписывают компьютеру осуществлять описанный способ видеодекодирования.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0024] Дополнительные особенности, характер и различные преимущества раскрытого изобретения будут понятны из нижеследующего подробного описания и прилагаемых чертежей, на которых:

[0025] фиг. 1 - схема иллюстративного подмножества режимов внутреннего предсказания;

[0026] фиг. 2 - схема направлений внутреннего предсказания;

[0027] фиг. 3 - упрощенная блок-схема системы (300) связи в соответствии с вариантом осуществления;

[0028] фиг. 4 - упрощенная блок-схема системы (400) связи в соответствии с вариантом осуществления;

[0029] фиг. 5 - упрощенная блок-схема декодера в соответствии с вариантом осуществления;

[0030] фиг. 6 - упрощенная блок-схема кодера в соответствии с вариантом осуществления;

[0031] фиг. 7 - блок-схема кодера в соответствии с другим вариантом осуществления;

[0032] фиг. 8 - блок-схема декодера в соответствии с другим вариантом осуществления;

[0033] фиг. 9 - пример интра-блочного копирования согласно варианту осуществления изобретения;

[0034] фиг. 10 - пример интра-блочного копирования согласно варианту осуществления изобретения;

[0035] фиг. 11 - пример интра-блочного копирования согласно варианту осуществления изобретения;

[0036] фиг. 12A-12D - примеры интра-блочного копирования согласно варианту осуществления изобретения;

[0037] фиг. 13 - пример интра-блочного копирования с зоной поиска, превышающей размер СТВ, согласно варианту осуществления изобретения.

[0038] фиг. 14 - блок-схема операций процесса (1400) согласно варианту осуществления изобретения.

[0039] фиг. 15 - схема компьютерной системы в соответствии с вариантом осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0040] На фиг. 3 показана упрощенная блок-схема системы (300) связи согласно варианту осуществления настоящего изобретения. Система (300) связи включает в себя множество оконечных устройств, которые могут осуществлять связь друг с другом, например, через сеть (350). Например, система (300) связи включает в себя первую пару оконечных устройств (310) и (320), соединенных между собой через сеть (350). В примере, приведенном на фиг. 3, первая пара оконечных устройств (310) и (320) осуществляет однонаправленную передачу данных. Например, оконечное устройство (310) может кодировать видеоданные (например, поток видеоизображений, захваченных оконечным устройством (310)), для передачи в другое оконечное устройство (320) через сеть (350). Кодированные видеоданные могут передаваться в форме одного или более битовых потоков кодированного видео. Оконечное устройство (320) может принимать кодированные видеоданные из сети (350), декодировать кодированные видеоданные для восстановления видеоизображений и отображения видеоизображений согласно восстановленным видеоданным. Однонаправленная передача данных может быть свойственна приложениям служб массовой информации и т.п.

[0041] В другом примере, система (300) связи включает в себя вторую пару оконечных устройств (330) и (340) которые осуществляют двунаправленную передачу кодированных видеоданных, которые могут возникать, например, в ходе видеоконференцсвязи. Для двунаправленной передачи данных, в порядке примера, каждое оконечное устройство из оконечных устройств (330) и (340) может кодировать видеоданные (например, поток видеоизображений, захваченных оконечным устройством) для передачи в другое оконечное устройство из оконечных устройств (330) и (340) через сеть (350). Каждое оконечное устройство из оконечных устройств (330) и (340) также может принимать кодированные видеоданные, передаваемые другим оконечным устройством из оконечных устройств (330) и (340), и может декодировать кодированные видеоданные для восстановления видеоизображений и отображать видеоизображения на доступном устройстве отображения согласно восстановленным видеоданным.

[0042] В примере, приведенном на фиг. 3, оконечные устройства (310), (320), (330) и (340) могут быть проиллюстрированы как серверы, персональные компьютеры и смартфоны, но это не ограничивает принципы настоящего изобретения. Варианты осуществления настоящего изобретения находят применение для портативных компьютеров, планшетных компьютеров, медиаплееров и/или специального оборудования для видеоконференцсвязи. Сеть (350) представляет любое количество сетей, которые переносят кодированные видеоданные между оконечными устройствами (310), (320), (330) и (340), включая, например, проводные и/или беспроводные сети связи. Сеть (350) связи позволяет обмениваться данными в режиме канальной коммутации и/или пакетной коммутации. Иллюстративные сети включают в себя телекоммуникационные сети, локальные сети, глобальные сети и/или интернет. В целях настоящего рассмотрения, архитектура и топология сети (350) могут не иметь отношения к настоящему изобретению, если конкретно не указаны ниже.

[0043] На фиг. 4 показано, в порядке примера применения раскрытого изобретения, размещение видеокодера и видеодекодера в окружении потоковой передачи. Раскрытое изобретение может быть в равной степени применимо к другим применениям обработки видео, включая, например, видеоконференцсвязь, цифровое телевидение, хранение сжатого видео на цифровых носителях, в том числе CD, DVD, карте памяти и т.п., и т.д.

[0044] Система потоковой передачи может включать в себя подсистему (413) захвата, которая может включать в себя источник (401) видеосигнала, например, цифровую камеру, создающую, например, поток (402) видеоизображений, не подвергнутых сжатию. Например, поток (402) видеоизображений включает в себя отсчеты, взятые цифровой камерой. Поток (402) видеоизображений, изображенный жирной линией, чтобы подчеркнуть большой объем данных по сравнению с кодированными видеоданными (404) (или битовыми потоками кодированного видео), может обрабатываться электронным устройством (420), которое включает в себя видеокодер (403), подключенный к источнику (401) видеосигнала. Видеокодер (403) может включать в себя оборудование, программное обеспечение или их комбинацию для обеспечения или реализации аспектов раскрытого изобретения, как более подробно описано ниже. Кодированные видеоданные (404) (или битовый поток (404) кодированного видео), изображенные тонкой линией, чтобы подчеркнуть меньший объем данных по сравнению с потоком (402) видеоизображений, могут храниться на потоковом сервере (405) для использования в будущем. Одна или более клиентских подсистем потоковой передачи, например, клиентские подсистемы (406) и (408) на фиг. 4, могут осуществлять доступ к потоковому серверу (405) для извлечения копий (407) и (409) кодированных видеоданных (404). Клиентская подсистема (406) может включать в себя видеодекодер (410), например, в электронном устройстве (430). Видеодекодер (410) декодирует входящую копию (407) кодированных видеоданных и создает исходящий поток (411) видеоизображений, который может визуализироваться на дисплее (412) (например, отображающем экране) или другом устройстве визуализации (не показано). В некоторых системах потоковой передачи, кодированные видеоданные (404), (407) и (409) (например, битовые потоки видео) могут кодироваться согласно тем или иным стандартам кодирования/сжатия видео. Примеры этих стандартов включают в себя ITU-Т Recommendation Н.265. Например, разрабатывается стандарт видеокодирования под официальным названием "универсальное видеокодирование" (VVC, Versatile Video Coding). Раскрытое изобретение может использоваться в контексте VVC.

[0045] Заметим, что электронные устройства (420) и (430) могут включать в себя другие компоненты (не показаны). Например, электронное устройство (420) может включать в себя видеодекодер (не показан), и электронное устройство (430) также может включать в себя видеокодер (не показан).

[0046] На фиг. 5 показана блок-схема видеодекодера (510) согласно варианту осуществления настоящего изобретения. Видеодекодер (510) может входить в состав электронного устройства (530). Электронное устройство (530) может включать в себя приемник (531) (например, приемные схемы). Видеодекодер (510) может использоваться вместо видеодекодера (410) в примере, приведенном на фиг. 4.

[0047] Приемник (531) может принимать одну или более кодированных видеопоследовательностей для декодирования видеодекодером (510); в том же или другом варианте осуществления, по одной кодированной видеопоследовательности за раз, где декодирование каждой кодированной видеопоследовательности не зависит от других кодированных видеопоследовательностей. Кодированная видеопоследовательность может приниматься из канала (501), который может быть аппаратной/программной линией связи с запоминающим устройством, где хранятся кодированные видеоданные. Приемник (531) может принимать кодированные видеоданные с другими данными, например, кодированными аудиоданными и/или вспомогательными потоками данных, которые могут ретранслироваться на соответствующие использующие и объекты (не показаны). Приемник (531) может отделять кодированную видеопоследовательность от других данных. Для борьбы с джиттером сети, буферная память (515) может быть подключена между приемником (531) и энтропийным декодером / анализатором (520) (далее "анализатором (520)"). В некоторых вариантах применения буферная память (515) входит в состав видеодекодера (510). В других она может не входить в состав видеодекодера (510) (не показан). В прочих вариантах может существовать буферная память (не показана) вне видеодекодера (510), например, для борьбы с джиттером сети, помимо другой буферной памяти (515) в составе видеодекодера (510), например, для управления хронированием доигрывания. Когда приемник (531) принимает данные от устройства хранения/ретрансляции с достаточной полосой и управляемостью или из изосинхронной сети, буферная память (515) может быть не нужна или может быть мала. Для использования в пакетных сетях наилучшей попытки, например, Интернете, буферная память (515) может требоваться, может быть сравнительно большой и может иметь преимущественно адаптивный размер, и по меньшей мере частично может быть реализована в операционной системе или аналогичных элементах (не показаны) вне видеодекодера (510).

[0048] Видеодекодер (510) может включать в себя анализатор (520) для реконструкции символов (521) из кодированной видеопоследовательности. Категории этих символов включают в себя информацию, используемую для управления работой видеодекодера (510), и возможно информацию для управления устройством визуализации, например, устройством (512) визуализации (например, отображающим экраном), которое не является неотъемлемой частью электронного устройства (530), но может быть подключено к электронному устройству (530), как показано на фиг. 5. Информация управления для устройств(а) визуализации может представлять собой сообщения информации дополнительного улучшения (SEI, Supplemental Enhancement Information) или фрагменты набора параметров информации пригодности видео (VUI, Video Usability Information) (не показаны). Анализатор (520) может анализировать / энтропийно декодировать принятую кодированную видеопоследовательность. Кодирование кодированной видеопоследовательности может осуществляться в соответствии с технологией или стандартом видеокодирования и может следовать различным принципам, в том числе кодированию с переменной длиной серии, кодированию по Хаффману, арифметическому кодированию с контекстной чувствительностью или без нее и т.д. Анализатор (520) может извлекать из кодированной видеопоследовательности набор параметров подгруппы для по меньшей мере одной из подгрупп пикселей в видеодекодере на основании по меньшей мере одного параметра, соответствующего группе. Подгруппы могут включать в себя группы изображений (GOP, Groups of Pictures), изображения, тайлы, слайсы, макроблоки, единицы кодирования (CU, Coding Units), блоки, единицы преобразования (TU, Transform Units), единицы предсказания (PU, Prediction Units) и т.д. Анализатор (520) также может извлекать из кодированной видеопоследовательности информацию, например, коэффициенты преобразования, значения параметров квантователя, векторы движения и т.д.

[0049] Анализатор (520) может осуществлять операцию энтропийного декодирования / анализа видеопоследовательности, принятой из буферной памяти (515), для создания символов (521).

[0050] Для реконструкции символов (521) могут использоваться несколько разных модулей в зависимости от типа кодированного видеоизображения или его частей (например: интер- и интра-изображения, интер- и интра-блока) и других факторов. Какие модули используются, и как, может определяться информацией управления подгруппами, выделенной из кодированной видеопоследовательности анализатором (520). Поток такой информации управления подгруппами между анализатором (520) и множественными модулями для простоты в дальнейшем не показан.

[0051] Помимо ранее упомянутых функциональных блоков, видеодекодер (510) может принципиально подразделяться на несколько функциональных модулей, как описано ниже. В практической реализации, работающей в условиях коммерческих ограничений, многие из этих модулей тесно взаимодействуют друг с другом и могут, по меньшей мере частично, встраиваться один в другой. Однако в целях описания раскрытого изобретения уместно принципиальное подразделение на нижеперечисленные функциональные модули.

[0052] Первым модулем является модуль (551) масштабирования / обратного преобразования. Модуль (551) масштабирования / обратного преобразования принимает квантованный коэффициент преобразования, а также информацию управления, включающую в себя используемое преобразование, размер блока, коэффициент квантования, матрицы масштабирования квантования и т.д. в качестве символа(ов) (521) от анализатора (520). Модуль (551) масштабирования / обратного преобразования может выводить блоки, содержащие значения отсчетов, которые можно вводить в агрегатор (555).

[0053] В ряде случаев, выходные отсчеты блока (551) масштабирования / обратного преобразования могут относиться к внутренне-кодированному блоку; то есть блоку, который не использует предсказанную информацию из ранее реконструированных изображений, но может использовать предсказанную информацию из ранее реконструированных частей текущего изображения. Такая предсказанная информация может обеспечиваться модулем (552) предсказания внутри изображения. В ряде случаев модуль (552) предсказания внутри изображения генерирует блок такого же размера и формы, как блок, подлежащий реконструкции, с использованием информации ранее реконструированного окружения, извлеченной из буфера (558) текущего изображения. Буфер (558) текущего изображения буферизует, например, частично реконструированное текущее изображение и/или полностью реконструированное текущее изображение. Агрегатор (555) в ряде случаев добавляет, для каждого отсчета, информацию предсказания, сгенерированную модулем (552) внутреннего предсказания, в информацию выходных отсчетов, обеспеченную модулем (551) масштабирования / обратного преобразования.

[0054] В других случаях выходные отсчеты модуля (551) масштабирования / обратного преобразования могут относиться к внутренне кодированному блоку, возможно, с компенсацией движения. В таком случае, модуль (553) предсказания с компенсацией движения может осуществлять доступ к памяти (557) опорных изображений для извлечения отсчетов, используемых для предсказания. После применения компенсации движения к извлеченным отсчетам в соответствии с символами (521), относящимися к блоку, эти отсчеты могут добавляться агрегатором (555) к выходному сигналу модуля (551) масштабирования / обратного преобразования (в этом случае именуемому остаточными отсчетами или остаточным сигналом) для генерации информации выходных отсчетов. Адреса в памяти (557) опорных изображений, откуда модуль (553) предсказания с компенсацией движения извлекает предсказанные отсчеты, могут регулироваться векторами движения, доступными модулю (553) предсказания с компенсацией движения, в форме символов (521), которые могут иметь, например, компоненты X, Y и опорного изображения. Компенсация движения также может включать в себя интерполяцию значений отсчетов, извлеченных из памяти (557) опорных изображений, когда используются точные векторы движения подотсчетов, механизмы предсказания векторов движения и т.д.

[0055] К выходным отсчетам агрегатора (555) можно применять различные методы контурной фильтрации в модуле (556) контурного фильтра. Технологии сжатия видео могут включать в себя технологии деблокирующего фильтра под управлением параметров, включенных в кодированную видеопоследовательность (также именуемую битовым потоком кодированного видео) и становиться доступными модулю (556) контурного фильтра в качестве символов (521) от анализатора (520), но также могут реагировать на метаинформацию, полученную в ходе декодирования предыдущих (в порядке декодирования) частей кодированного изображения или кодированной видеопоследовательности, а также реагировать на ранее реконструированные и подвергнутые контурной фильтрации значения отсчетов.

[0056] Модуль (556) контурного фильтра может выдавать поток отсчетов, который может поступать на устройство (512) визуализации, а также сохраняться в памяти (557) опорных изображений для использования в будущем предсказании между изображениями.

[0057] Некоторые кодированные изображения, будучи полностью реконструированы, могут использоваться в качестве опорных изображений для будущего предсказания. Например, когда кодированное изображение, соответствующее текущему изображению, полностью реконструировано, и кодированное изображение идентифицировано как опорное изображение (например, анализатором (520)), буфер (558) текущего изображения может становиться частью памяти (557) опорных изображений, и свежий буфер текущего изображения может повторно выделяться до начала реконструкции следующего кодированного изображения.

[0058] Видеодекодер (510) может осуществлять операции декодирования согласно заранее заданной технологии сжатия видео, например, по стандарту ITU-T Rec. Н.265. Кодированная видеопоследовательность может согласовываться с синтаксисом, заданным используемой/ым технологией или стандартом сжатия видео, в том смысле, что кодированная видеопоследовательность может придерживаться как синтаксиса технологии или стандарта сжатия видео, так и профилей, задокументированных в технологии или стандарте сжатия видео. В частности, профиль может выбирать некоторые инструменты как инструменты, доступные для использования только под этим профилем, из всех инструментов, доступных в технологии или стандарте сжатия видео. Также для согласованности может быть необходимо, чтобы сложность кодированной видеопоследовательности оставалась в границах, заданных уровнем технологии или стандарта сжатия видео. В ряде случаев, уровни ограничивают максимальный размер изображения, максимальную частоту кадров, максимальную частоту отсчетов для реконструкции (измеряемую, например, в мегаотсчетах в секунду), максимальный размер опорного изображения и т.д. Пределы, установленные уровнями, в ряде случаев могут дополнительно ограничиваться спецификациями гипотетического эталонного декодера (HRD, Hypothetical Reference Decoder) и метаданными для управления буфером HRD, сигнализируемого в кодированной видеопоследовательности.

[0059] Согласно варианту осуществления, приемник (531) может принимать дополнительные (избыточные) данные с кодированным видео. Дополнительные данные могут быть включены как часть кодированной(ых) видеопоследовательности(ей). Дополнительные данные могут использоваться видеодекодером (510) для правильного декодирования данных и/или более точной реконструкции исходных видеоданных. Дополнительные данные могут представлять собой, например, слои улучшения во времени, пространстве или отношения сигнал/шум (SNR, signal noise ratio), избыточные слайсы, избыточные изображения, коды прямой коррекции ошибок и т.д.

[0060] На фиг. 6 показана блок-схема видеокодера (603) согласно варианту осуществления настоящего изобретения. Видеокодер (603) входит в состав электронного устройства (620). Электронное устройство (620) включает в себя передатчик (640) (например, передающую схему). Видеокодер (603) может использоваться вместо видеокодера (403) в примере, приведенном на фиг. 4.

[0061] Видеокодер (603) может принимать отсчеты видео от источника (601) видеосигнала (который не входит в состав электронного устройства (620) в примере, показанном на фиг. 6), который может захватывать видеоизображение(я), подлежащее(ие) кодированию видеокодером (603). В другом примере источник (601) видеосигнала входит в состав электронного устройства (620).

[0062] Источник (601) видеосигнала может обеспечивать исходную видеопоследовательность, подлежащую кодированию видеокодером (603) в форме потока отсчетов цифрового видео любой подходящей битовой глубины (например: 8 бит, 10 бит, 12 бит, …), любого цветового пространства (например, ВТ.601 Y CrCB, RGB, …), и любой подходящей структуры дискретизации (например, Y CrCb 4:2:0, Y CrCb 4:4:4). В системе службы массовой информации источником (601) видеосигнала может быть запоминающее устройство, где хранится ранее подготовленное видео. В система видеоконференцсвязи источником (601) видеосигнала может быть камера, которая захватывает информацию локального изображения как видеопоследовательность. Видеоданные могут обеспечиваться как множество отдельных изображений, которые создают ощущение движения при наблюдении в последовательности. Сами изображения могут быть организованы как пространственный массив пикселей, где каждый пиксель может содержать один или более отсчетов в зависимости от используемых структуры дискретизации, цветового пространства и т.д. Специалисту в данной области техники нетрудно понять соотношение между пикселями и отсчетами. Нижеследующее описание посвящено отсчетам.

[0063] Согласно варианту осуществления, видеокодер (603) может кодировать и сжимать изображения исходной видеопоследовательности в кодированную видеопоследовательность (643) в реальном времени или с учетом любых других временных ограничений, налагаемых применением. Установление надлежащей скорости кодирования является одной из функций контроллера (650). В некоторых вариантах осуществления контроллер (650) управляет другими функциональными модулями, как описано ниже, и функционально подключен к другим функциональным модулям. Подключение для простоты не показано. Параметры, установленные контроллером (650), могут включать в себя параметры, связанные регулировкой частоты (пропуск изображения, квантователь, значение лямбда, применяемое при оптимизация скорости-искажения, …), размер изображения, схему групп изображений (GOP, group of pictures), максимальную зону поиска вектора движения и т.д. Контроллер (650) может быть выполнен с возможностью иметь другие подходящие функции, относящиеся к видеокодеру (603), оптимизированному для той или иной конструкции системы.

[0064] В некоторых вариантах осуществления видеокодер (603) выполнен с возможностью работать в петле кодирования. В качестве очень упрощенного описания, в порядке примера, петля кодирования может включать в себя исходный кодер (630) (например, отвечающий за создание символов, например, потока символов, на основе входного изображения, подлежащего кодированию, и опорного(ых) изображения(ий)) и (локальный) декодер (633), встроенный в видеокодер (603). Декодер (633) реконструирует символы для создания данных отсчетов, аналогично тому, как это делал бы (удаленный) декодер (поскольку любое сжатие между символами и битовым потоком кодированного видео происходит без потерь в технологиях сжатия видео, рассматриваемых в раскрытом изобретении). Реконструированный поток отсчетов (данные отсчетов) поступают в память (634) опорных изображений. Поскольку декодирование потока символов приводит к результатам, с точностью до бита, не зависящим от положения декодера (локального или удаленного), содержимое памяти (634) опорных изображений также будет одинаковым с точностью до бита для локального кодера и удаленного кодера. Другими словами, предсказанная часть кодера "видит" в качестве отсчетов опорного изображения точно такие же значения отсчетов, как "видел" бы декодер при использовании предсказания в ходе декодирования. Этот фундаментальный принцип синхронизма опорного изображения (и, в итоге, дрейф, если синхронизм не удается поддерживать, например, вследствие канальных ошибок) используется также в некоторых связанных областях техники.

[0065] "Локальный" декодер (633) может действовать таким же образом, как "удаленный" декодер, например, видеодекодер (510), подробно вышеописанный со ссылкой на фиг. 5. Однако, опять же, согласно фиг. 5, поскольку символы доступны, и кодирование/декодирование символов в кодированную видеопоследовательность энтропийным кодером (645) и анализатором (520) может осуществляться без потерь, части энтропийного декодирования видеодекодера (510), включающие в себя буферную память (515) и анализатор (520), могут быть не полностью реализованы в локальном декодере (633).

[0066] При этом можно сделать вывод, что любая технология декодирования, присутствующая в декодере, за исключением анализа/энтропийного декодирования, также обязательно должна присутствовать, по в существу идентичной функциональной форме в соответствующем кодере. По этой причине раскрытое изобретение сконцентрировано на работе декодера. Описание технологий кодирования может быть сокращено, поскольку они являются обратными подробно описанным технологиям декодированная. Только в некоторых областях требуется более детальное описание, которое приведено ниже.

[0067] Согласно некоторым примерам, в ходе работы исходный кодер (630) может осуществлять кодирование с предсказанием и компенсацией движения, при котором входное изображение кодируется с предсказанием на основании одного или более ранее кодированных изображений из видеопоследовательности, указанных как "опорные изображения". Таким образом, машина (632) кодирования кодирует различия между пиксельными блоками входного изображения и пиксельными блоками опорного изображения(й), которое(ые) может(ут) выбираться в качестве предсказанной(ых) ссылки(ок) на входное изображение.

[0068] Локальный видеодекодер (633) может декодировать кодированные видеоданные изображений, которые могут быть указаны как опорные изображения, на основе символов, созданных исходным кодером (630). Операции машины (632) кодирования могут быть преимущественно процессами с потерями. Когда кодированные видеоданные могут декодироваться в видеодекодере (не показан на фиг. 6), реконструированная видеопоследовательность обычно может представлять собой копию исходной видеопоследовательности с некоторыми ошибками. Локальный видеодекодер (633) дублирует процессы декодирования, которые могут осуществляться видеодекодером на опорных изображениях, и может предписывать сохранение реконструированных опорных изображений в кэш-памяти (634) опорных изображений. Таким образом, видеокодер (603) может локально сохранять копии реконструированных опорных изображений, имеющие такое же содержимое, как реконструированные опорные изображения, которые будут получены видеодекодером на стороне приемника (в отсутствие ошибок передачи).

[0069] Предсказатель (635) может осуществлять поиски предсказания для машины (632) кодирования. Таким образом, для нового изображения, подлежащего кодированию, предсказатель (635) может искать в памяти (634) опорных изображений данные отсчетов (в качестве кандидатов на роль опорных пиксельных блоков) или те или иные метаданные, например, векторы движения опорного изображения, формы блоков и т.д., которые могут служить надлежащей ссылкой для предсказания новых изображений. Предсказатель (635) может работать на основе "блоки отсчетов × пиксельные блоки" для нахождения надлежащих ссылок для предсказания. В ряде случаев, согласно результатам поиска, полученным предсказателем (635), входное изображение может иметь ссылки для предсказания, извлеченные из множества опорных изображений, хранящихся в памяти (634) опорных изображений.

[0070] Контроллер (650) может управлять операциями кодирования исходного кодера (630), включая, например, установление параметров и параметров подгруппы, используемых для кодирования видеоданных.

[0071] Выходной сигнал всех вышеупомянутых функциональных модулей может подвергаться энтропийному кодированию в энтропийном кодере (645). Энтропийный кодер (645) переводит символы, сгенерированные различными функциональными модулями, в кодированную видеопоследовательность путем сжатия символов без потерь согласно технологиям, например, кодирования по Хаффману, кодирования с переменной длиной серии, арифметического кодирования и т.д.

[0072] Передатчик (640) может буферизовать кодированную(ые) видеопоследовательность(и), созданную энтропийным кодером (645), для подготовки к передаче через канал (660) связи, который может быть аппаратной/программной линией связи с запоминающим устройством, где хранятся кодированные видеоданные. Передатчик (640) может объединять кодированные видеоданные от видеокодера (603) с другими данными, подлежащими передаче, например, кодированными аудиоданными и/или вспомогательными потоками данных (источники не показаны).

[0073] Контроллер (650) может управлять работой видеокодера (603). В ходе кодирования контроллер (650) может назначать каждому кодированному изображению тот или иной тип кодированного изображения, который может определять методы кодирования, применимые к соответствующему изображению. Например, изображениям часто могут назначаться следующие типы изображения:

[0074] Интра-изображение (I-изображение), которое можно кодировать и декодировать без использования какого-либо другого изображения в последовательности в качестве источника предсказания. Некоторые видеокодеки допускают разные типы интра-изображений, включая, например, изображения в формате независимого обновления декодера ("IDR", Independent Decoder Refresh). Специалисту в данной области техники известны разновидности 1-изображений и их соответствующие варианты применения и особенности.

[0075] Предсказанное изображение (Р-изображение), которое можно кодировать и декодировать с использованием внутреннего предсказания или внешнего предсказания с использованием не более одного вектора движения и опорного индекса для предсказания значений отсчетов каждого блока.

[0076] Двунаправленно-предсказанное изображение (В-изображение), которое можно кодировать и декодировать с использованием внутреннего предсказания или внешнего предсказания с использованием не более двух векторов движения и опорных индексов для предсказания значений отсчетов каждого блока. Аналогично, мультипредсказанные изображения могут использовать более двух опорных изображений и связанные метаданные для реконструкции единого блока.

[0077] Исходные изображения обычно допускают пространственное разделение на множество блоков отсчетов (например, блоки 4×4, 8×8, 4×8 или 16×16 отсчетов каждый) и кодирование на поблочной основе (блок за блоком). Блоки могут кодироваться предиктивно со ссылкой на другие (ранее кодированные) блоки, определенные назначением кодирования, применяемым к соответствующим изображениям этих блоков. Например, блоки I-изображений могут кодироваться без предсказания или с предсказанием со ссылкой на ранее кодированные блоки того же изображения (пространственным предсказанием или внутренним предсказанием). Пиксельные блоки Р-изображений могут кодироваться с предсказанием, посредством пространственного предсказания или временного предсказания со ссылкой на одно ранее кодированное опорное изображение. Блоки В-изображений могут кодироваться с предсказанием, посредством пространственного предсказания или временного предсказания со ссылкой на одно или два ранее кодированных опорных изображения.

[0078] Видеокодер (603) может осуществлять операции кодирования согласно заранее заданной технологии или стандарту видеокодирования, например, ITU-T Rec. Н.265. В своей работе видеокодер (603) может осуществлять различные операции сжатия, в том числе операции предиктивного кодирования, которые используют временные и пространственные избыточности во входной видеопоследовательности. Поэтому кодированные видеоданные могут согласовываться с синтаксисом, заданным используемой технологией или стандартом видеокодирования.

[0079] Согласно варианту осуществления, передатчик (640) может передавать дополнительные данные с кодированным видео. Исходный кодер (630) может включать такие данные как часть кодированной видеопоследовательности. Дополнительные данные могут содержать временные/пространственные/SNR слои улучшения, другие формы избыточных данных, например, избыточные изображения и слайсы, сообщения SEI, фрагменты набора параметров VUI и т.д.

[0080] Видео может захватываться как множество исходных изображений (видеоизображений) во временной последовательности. Предсказание внутри изображения (часто сокращенно именуемое внутренним предсказанием) использует пространственную корреляцию в данном изображении, а предсказание между изображениями использует (временную или иную) корреляцию между изображениями. Например, конкретное изображение, подлежащее кодированию/декодированию, которое именуется текущим изображением, разбивается на блоки. Когда блок в текущем изображении аналогичен опорному блоку в ранее кодированном и все еще буферизованном опорном изображении в видео, блок в текущем изображении может кодироваться вектором, который именуется вектором движения. Вектор движения указывает на опорный блок в опорном изображении и может иметь третье измерение, идентифицирующее опорное изображение, в случае использования множественных опорных изображений.

[0081] В некоторых вариантах осуществления, метод двойного предсказания может использоваться в предсказании между изображениями. Согласно методу двойного предсказания, используются два опорных изображения, например, первое опорное изображение и второе опорное изображение, которые оба предшествуют в порядке декодирования текущему изображению в видео (но могут быть в прошлом и будущем, соответственно, в порядке отображения). Блок в текущем изображении может кодироваться первым вектором движения, который указывает на первый опорный блок в первом опорном изображении, и вторым вектором движения, который указывает на второй опорный блок во втором опорном изображении. Блок может предсказываться комбинацией первого опорного блока и второго опорного блока.

[0082] Дополнительно, метод режима объединения может использоваться в предсказании между изображениями для повышения эффективности кодирования.

[0083] Согласно некоторым вариантам осуществления изобретения, предсказания, например, предсказания между изображениями и предсказания внутри изображения, осуществляются поблочно. Например, согласно стандарту HEVC, изображение в последовательности видеоизображений разбивается на единицы дерева кодирования (CTU, coding tree units) для сжатия, CTU в изображении имеют одинаковый размер, например 64×64 пикселя, 32×32 пикселя или 16×16 пикселей. В общем случае CTU включает в себя три блока дерева кодирования (СТВ, coding tree blocks), а именно, один СТВ яркости и два СТВ цветности. Каждый CTU может рекурсивно делиться квадрадеревом на одну или несколько единиц кодирования (CU). Например, CTU размером 64×64 пикселя может делиться на одну CU размером 64×64 пикселя или 4 CU размером 32×32 пикселя или 16 CU размером 16×16 пикселей. Например, каждая CU анализируется для определения типа предсказания для CU, например, типа внешнего предсказания или типа внутреннего предсказания. CU делится на одну или более единиц предсказания (PU) в зависимости от временной и/или пространственной предсказуемости. В целом, каждая PU включает в себя блок (РВ) предсказания яркости и два РВ цветности. Согласно варианту осуществления, операция предсказания при кодировании (кодировании/декодировании) осуществляется в единице блока предсказания. Используя блок предсказания яркости в качестве примера блока предсказания, блок предсказания включает в себя матрицу значений (например, значений яркости) для пикселей, например, 8×8 пикселей, 16×16 пикселей, 8×16 пикселей, 16×8 пикселей и т.п.

[0084] На фиг. 7 показана схема видеокодера (703) согласно другому варианту осуществления изобретения. Видеокодер (703) выполнен с возможностью приема блока обработки (например, блока предсказания) значений отсчетов в текущем видеоизображении в последовательности видеоизображений и кодирования блока обработки в кодированное изображение, которое составляет часть кодированной видеопоследовательности. Например, видеокодер (703) используется вместо видеокодера (403) в примере, приведенном на фиг. 4.

[0085] В примере HEVC видеокодер (703) принимает матрицу значений отсчетов для блока обработки, например, блока предсказания 8×8 отсчетов и т.п. Видеокодер (703) определяет, наилучшим ли образом кодируется блок обработки в интра-режиме, интеррежиме или режиме двойного предсказания с использованием, например, оптимизации скорость-искажения. Когда блок обработки подлежит кодированию в интра-режиме, видеокодер (703) может использовать метод внутреннего предсказания для кодирования блока обработки в кодированное изображение; и когда блок обработки подлежит кодированию в интер-режиме или режиме двойного предсказания, видеокодер (703) может использовать метод внешнего предсказания или двойного предсказания, соответственно, для кодирования блока обработки в кодированное изображение. В некоторых технологиях видеокодирования, режим объединения может быть подрежимом предсказания между изображениями, где вектор движения выводится из одного или более предсказателей вектора движения без привлечения кодированного компонента вектора движения вне предсказателей. В некоторых других технологиях видеокодирования может присутствовать компонент вектора движения, применимый к данному блоку. В порядке примера, видеокодер (703) включает в себя другие компоненты, например, модуль определения режима (не показан) для определения режима блоков обработки.

[0086] В примере, приведенном на фиг. 7, видеокодер (703) включает в себя интер-кодер (730), интра-кодер (722), вычислитель (723) остатка, переключатель (726), кодер (724) остатка, общий контроллер (721) и энтропийный кодер (725), соединенные друг с другом как показано на фиг. 7.

[0087] Интер-кодер (730) выполнен с возможностью приема отсчетов текущего блока (например, блока обработки), сравнения блока с одним или более опорными блоками в опорных изображениях (например, блоками в предыдущих изображениях и более поздних изображениях), генерации информации внешнего предсказания (например, описания избыточной информации согласно методу внутреннего кодирования, векторов движения, информации режима объединения), и вычисления результатов внешнего предсказания (например, блока предсказания) на основании информации внешнего предсказания с использованием любого подходящего метода. В некоторых примерах опорными изображениями являются декодированные опорные изображения, которые декодируются на основе информации кодированного видео.

[0088] Интра-кодер (722) выполнен с возможностью приема отсчетов текущего блока (например, блока обработки), в ряде случаев сравнения блока с блоками, ранее кодированными в том же изображении, генерирования квантованных коэффициентов после преобразования, и в ряде случаев также информации внутреннего предсказания (например, информации направления внутреннего предсказания согласно одному или более методам внутреннего кодирования). В порядке примера, интра-кодер (722) также вычисляет результаты внутреннего предсказания (например, блок предсказания) на основании информации внутреннего предсказания и опорных блоков в том же изображении.

[0089] Общий контроллер (721) выполнен с возможностью определения общих данных управления и управления другими компонентами видеокодера (703) на основе общих данных управления. Например, общий контроллер (721) определяет режим блока и выдает сигнал управления на переключатель (726) на основе режима. Например, когда режим является интра-режимом, общий контроллер (721) управляет переключателем (726) для выбора результата интра-режима для использования вычислителем (723) остатка, и управляет энтропийным кодером (725) для выбора информации внутреннего предсказания и включения информации внутреннего предсказания в битовый поток; и когда режим является интер-режимом, общий контроллер (721) управляет переключателем (726) для выбора результата внешнего предсказания для использования вычислителем (723) остатка, и управляет энтропийным кодером (725) для выбора информации внешнего предсказания и включения информации внешнего предсказания в битовый поток.

[0090] Вычислитель (723) остатка выполнен с возможностью вычисления разности (данных остатка) между принятым блоком и результатами предсказания, выбранными из интра-кодера (722) или интер-кодера (730). Кодер (724) остатка выполнен с возможностью действовать на основе данных остатка для кодирования данных остатка для генерации коэффициентов преобразования. Например, кодер (724) остатка выполнен с возможностью преобразования данных остатка из пространственной области в частотную область и генерирования коэффициентов преобразования. Затем коэффициенты преобразования подвергаются обработке квантования для получения квантованных коэффициентов преобразования. В различных вариантах осуществления видеокодер (703) также включает в себя декодер (728) остатка. Декодер (728) остатка выполнен с возможностью осуществления обратного преобразования и генерирования декодированных данных остатка. Декодированные данные остатка могут надлежащим образом использоваться интра-кодером (722) и интер-кодером (730). Например, интеркодер (730) может генерировать декодированные блоки на основе декодированных данных остатка и информации внешнего предсказания, и интра-кодер (722) может генерировать декодированные блоки на основе декодированных данных остатка и информации внутреннего предсказания. Декодированные блоки надлежащим образом обрабатываются для генерации декодированных изображений, и декодированные изображения могут буферизоваться в схеме памяти (не показана) и в некоторых примерах использоваться в качестве опорных изображений.

[0091] Энтропийный кодер (725) выполнен с возможностью форматирования битового потока так, чтобы он включал в себя кодированный блок. Энтропийный кодер (725) выполнен с возможностью включать различную информацию согласно подходящему стандарту, например, стандарту HEVC. Например, энтропийный кодер (725) выполнен с возможностью включать общие данные управления, выбранную информацию предсказания (например, информацию внутреннего предсказания или информацию внешнего предсказания), информацию остатка и другую подходящую информацию в битовый поток. Заметим, что, согласно раскрытому изобретению, при кодировании блока в подрежиме объединения любого из интер-режима и режима двойного предсказания, информация остатка отсутствует.

[0092] На фиг. 8 показана схема видеодекодера (810) согласно другому варианту осуществления изобретения. Видеодекодер (810) выполнен с возможностью приема кодированных изображений, составляющих часть кодированной видеопоследовательности, и декодирования кодированных изображений для генерации реконструированных изображений. Например, видеодекодер (810) используется вместо видеодекодера (410) в примере, приведенном на фиг. 4.

[0093] В примере, приведенном на фиг. 8, видеодекодер (810) включает в себя энтропийный декодер (871), интер-декодер (880), декодер (873) остатка, модуль (874) реконструкции и интра-декодер (872), соединенные друг с другом как показано на фиг. 8.

[0094] Энтропийный декодер (871) может быть выполнен с возможностью реконструкции, из кодированного изображения, некоторых символов, которые представляют синтаксические элементы, образующие кодированное изображение. Такие символы могут включать в себя, например, режим кодирования блока (например, интра-режим, интер-режим, режим двойного предсказания, причем последние два в подрежиме объединения или другом подрежиме), информацию предсказания (например, информацию внутреннего предсказания или информацию внешнего предсказания), которая может идентифицировать определенный отсчет или метаданные, используемые для предсказания интра-декодером (872) или интер-декодером (880), соответственно, информацию остатка в форме, например, квантованных коэффициентов преобразования и т.п. Например, когда режим предсказания является режимом внутреннего или двойного предсказания, информация внешнего предсказания поступает на интер-декодер (880); а когда тип предсказания является типом внутреннего предсказания, информация внутреннего предсказания поступает на интра-декодер (872). Информация остатка может подвергаться обратному квантованию и поступать на декодер (873) остатка.

[0095] Интер-декодер (880) выполнен с возможностью приема информации внешнего предсказания и генерирования результатов внешнего предсказания на основании информации внешнего предсказания.

[0096] Интра-декодер (872) выполнен с возможностью приема информации внутреннего предсказания и генерирования результатов предсказания на основании информации внутреннего предсказания.

[0097] Декодер (873) остатка выполнен с возможностью осуществления обратного квантования для извлечения деквантованных коэффициентов преобразования и обработки деквантованных коэффициентов преобразования для преобразования остатка из частотной области в пространственную область. Декодер (873) остатка также может требовать некоторой информации управления (включать параметр квантователя (QP, Quantizer Parameter)), и эта информация может обеспечиваться энтропийным декодером (871) (путь данных не показан, поскольку это может быть только информация управления малого объема).

[0098] Модуль (874) реконструкции выполнен с возможностью объединения, в пространственной области, остатка на выходе декодера (873) остатка и результатов предсказания (на выходе модулей внешнего или внутреннего предсказания, в зависимости от ситуации) для формирования реконструированного блока, который может входить в состав реконструированного изображения, которое, в свою очередь, может входить в состав реконструированного видео. Заметим, что другие подходящие операции, например, операция деблокирования и т.п., может осуществляться для повышения визуального качества.

[0099] Заметим, что видеокодеры (403), (603) и (703) и видеодекодеры (410), (510) и (810) могут быть реализованы с использованием любого подходящего метода. Согласно варианту осуществления, видеокодеры (403), (603) и (703) и видеодекодеры (410), (510) и (810) могут быть реализованы с использованием одной или более интегральных схем. В другом варианте осуществления видеокодеры (403), (603) и (603) и видеодекодеры (410), (510) и (810) могут быть реализованы с использованием одного или более процессоров, которые выполняют программные инструкции.

[0100] Аспекты изобретения предусматривают методы регулировки зоны поиска для компенсации блоков внутри изображения.

[0101] Компенсация на основе блоков может использоваться для внешнего предсказания и внутреннего предсказания. Для внешнего предсказания, компенсация на основе блоков из другого изображения называется компенсацией движения. Компенсация на основе блоков также может осуществляться из ранее реконструированной области в том же изображении, например, при внутреннем предсказании. Компенсация на основе блоков из реконструированной области в том же самом изображении именуется блочной компенсацией внутри изображения, опорой на текущее изображение (CPR, current picture referencing) или интра-блочным копированием (IBC, intra block сору). Вектор перемещения, который указывает смещение между текущим блоком и опорным блоком (также именуемым блоком предсказания) в том же изображении именуется вектором блока (BV, block vector), где текущий блок может кодироваться/декодироваться на основе опорного блока. В отличие от вектора движения при компенсации движения, который может принимать любое значение (положительное или отрицательное, в направлении х или у), BV имеет ряд ограничений, позволяющих гарантировать, что опорный блок доступен и уже реконструирован. Также, в некоторых примерах, для параллельной обработки исключена некоторая опорная область, которая является границей тайла, границей слайса или граница в форме волнового фронта лестничного типа.

[0102] Кодирование вектора блока может быть либо явным, либо неявным. В явном режиме сигнализируется разностный BV между вектором блока и его предсказателем. В неявном режиме вектор блока восстанавливается из предсказателя (именуемого предсказателем вектора блока) без использования разностного BV, по аналогии с вектором движения в режиме объединения. Разрешение вектора блока, в некоторых реализациях, ограничивается целочисленными позициями. В других системах вектору блока разрешено указывать на дробные позиции.

[0103] В некоторых примерах, использование интра-блочного копирования на уровне блоков может сигнализироваться с использованием флага уровня блоков, например, флага IBC. Согласно варианту осуществления, флаг уровня блоков сигнализируется, когда текущий блок кодируется в явном виде. В некоторых примерах, использование интра-блочного копирования на уровне блоков может сигнализироваться с использованием подхода опорных индексов. Затем текущее изображение, подлежащее декодированию, обрабатывается как опорное изображение или специальное опорное изображение. Например, такое опорное изображение помещается в последнюю позицию списка опорных изображений. Специальное опорное изображение также управляется совместно с другими временными опорными изображениями в буфере, например, буфере декодированных изображений (DPB, decoded picture buffer).

[0104] Также существуют некоторые разновидности интра-блочного копирования, например, интра-блочное копирование с переворотом (опорный блок переворачивается горизонтально или вертикально, прежде чем будет использован для предсказания текущего блока), или интра-блочное копирование на основе линий (каждая единица компенсации внутри блока кодирования M×N является линией M×l или l×N).

[0105] Как описано выше, BV текущего блока, подлежащего реконструкции в изображении, может иметь некоторые ограничения, и, таким образом, опорный блок для текущего блока находится внутри зоны поиска. Зоной поиска называют часть изображения, из которой можно выбирать опорный блок. Например, зона поиска может находиться в некоторых участках реконструированной области в изображении. Размер, позиция, форма и т.п. зоны поиска могут иметь ограничения. Альтернативно, ограничиваться может BV. Например, BV является двухмерным вектором, включающим в себя компоненты x и у, и по меньшей мере один из компонентов x и у может ограничиваться. Ограничения могут задаваться в отношении BV, зоны поиска или комбинации BV и зоны поиска. В различных примерах, когда некоторые ограничения задаются в отношении BV, соответственно ограничивается и зона поиска. Аналогично, когда некоторые ограничения задаются в отношении зоны поиска, соответственно ограничивается BV.

[0106] На фиг. 9 показан пример интра-блочного копирования согласно варианту осуществления изобретения. Текущее изображение (900) подлежит реконструкции при декодировании. Текущее изображение (900) включает в себя реконструированную область (910) (серую) и декодируемую область (920) (белую). Текущий блок (930) подлежит реконструкции декодером. Текущий блок (930) может реконструироваться из опорного блока (940), который находится в реконструированной области (910). Смещение позиции между опорным блоком (940) и текущим блоком (930) именуется вектором блока (950) (или BV (950)). В примере, приведенном на фиг. 9, зона (960) поиска находится в реконструированной области (910), опорный блок (940) находится в зоне (960) поиска, и вектор блока (950) ограничивается указанием на опорный блок (940) в зоне (960) поиска.

[0107] К BV и/или зоне поиска можно применять различные ограничения. Согласно варианту осуществления, зона поиска для текущего блока, подлежащего реконструкции, в текущем СТВ ограничивается текущим СТВ.

[0108] Согласно варианту осуществления, требование к эффективной памяти для хранения опорных отсчетов, подлежащих использованию в интра-блочном копировании, составляет один размер СТВ. Например, размер СТВ составляет 128 × 128 отсчетов. Текущий СТВ включает в себя текущую область, подлежащую реконструкции. Текущая область имеет размер 64 × 64 отсчета. Поскольку в опорной памяти также могут хранятся реконструированные отсчеты в текущей области, в опорной памяти могут хранятся еще 3 области по 64×64 отсчета, когда размер опорной памяти равен размеру СТВ 128 × 128 отсчетов. Соответственно, зона поиска может включать в себя некоторые части ранее реконструированного СТВ, тогда как требование к полной памяти для хранения опорных отсчетов остается неизменным (например, размер 1 СТВ 128 × 128 отсчетов или суммарно 4 по 64×64 опорных отсчетов). Например, ранее реконструированный СТВ соседствует с текущим СТВ слева, что показано на фиг. 10.

[0109] На фиг. 10 показан пример интра-блочного копирования согласно варианту осуществления изобретения. Текущее изображение (1001) включает в себя текущий СТВ (1015), подлежащий реконструкции, и ранее реконструированный СТВ (1010), который располагается по соседству слева от текущего СТВ (1015). СТВ в текущем изображении (1001) имеют размер СТВ, например 128 × 128 отсчетов, и ширину СТВ, например 128 отсчетов. Текущий СТВ (1015) включает в себя четыре области (1016)-(1019), где текущая область (1016) подлежит реконструкции. Текущая область (1016) включает в себя множество блоков (1021)-(1029) кодирования. Аналогично, ранее реконструированный СТВ (1010) включает в себя четыре области (1011)-(1014). Блоки (1021)-(1025) кодирования реконструированы, текущий блок (1026) подлежит реконструкции, и блоки (1026)-(1027) кодирования и области (1017)-(1019) подлежат реконструкции.

[0110] Текущая область (1016) имеет соответственно расположенную область (т.е. область (1011), в ранее реконструированном СТВ (1010)). Относительная позиция соответственно расположенной области (1011) относительно ранее реконструированного СТВ (1010) может быть идентична относительной позиции текущей области (1016) относительно текущего СТВ (1015). В примере, проиллюстрированном на фиг. 10, текущая область (1016) является верхней левой областью в текущем СТВ (1015), и, таким образом, соответственно расположенная область (1011) также является верхней левой областью в ранее реконструированном СТВ (1010). Поскольку позиция ранее реконструированного СТВ (1010) смещена от позиции текущего СТВ (1015) на ширину СТВ, позиция соответственно расположенной области (1011) смещена от позиции текущей области (1016) на ширину СТВ.

[0111] Согласно варианту осуществления, соответственно расположенная область текущей области (1016) находится в ранее реконструированном СТВ, где позиция ранее реконструированного СТВ смещена на одну или кратное значение ширины СТВ от позиции текущего СТВ (1015), и, таким образом, позиция соответственно расположенной области также смещена на соответствующую одну или кратное значение ширины СТВ от позиции текущей области (1016). Позиция соответственно расположенной области может быть сдвинута влево, вверх и т.п. от текущей области (1016).

[0112] Как описано выше, размер зоны поиска для текущего блока (1026) ограничивается размером СТВ. В примере, приведенном на фиг. 10, зона поиска может включать в себя области (1012)-(1014) в ранее реконструированном СТВ (1010) и участок текущей области (1016), который уже реконструирован, например, блоки (1021)-(1025) кодирования. Зона поиска дополнительно исключает соответственно расположенную область (1011), благодаря чему размер зоны поиска заключен в пределах размера СТВ. Согласно фиг. 10, опорный блок (1091) располагается в области (1014) ранее реконструированного СТВ (1010). Вектор блока (1020) указывает смещение между текущим блоком (1026) и соответствующим опорным блоком (1091). Опорный блок (1091) находится в зоне поиска.

[0113] Пример, проиллюстрированный на фиг. 10, может быть надлежащим образом адаптирован к другим сценариям, где текущая область располагается в другом положении в текущем СТВ (1015). Например, когда текущий блок находится в области (1017), соответственно расположенная область для текущего блока является областью (1012). Поэтому зона поиска может включать в себя области (1013)-(1014), область (1016) и ранее реконструированный участок области (1017). Зона поиска дополнительно исключает область (1011) и соответственно расположенную область (1012), благодаря чему размер зоны поиска заключен в пределах размера СТВ. Например, когда текущий блок находится в области (1018), соответственно расположенная область для текущего блока является областью (1013). Поэтому зона поиска может включать в себя область (1014), области (1016)-(1017), и ранее реконструированный участок области (1018). Зона поиска дополнительно исключает области (1011)-(1012) и соответственно расположенную область (1013), благодаря чему размер зоны поиска заключен в пределах размера СТВ. Например, когда текущий блок находится в области (1019), соответственно расположенная область для текущего блока является областью (1014). Поэтому зона поиска может включать в себя области (1016)-(1018), и ранее реконструированный участок области (1019). Зона поиска дополнительно исключает ранее реконструированный СТВ (1010), благодаря чему размер зоны поиска заключен в пределах размера СТВ.

[0114] Согласно вышеприведенному описанию, опорный блок может находиться в ранее реконструированном СТВ (1010) или текущем СТВ (1015).

[0115] Согласно варианту осуществления, зона поиска может задаваться описанным ниже способом. Например, текущее изображение является изображением яркости, и текущий СТВ является СТВ яркости, включающим в себя множество отсчетов яркости, и вектор блока mvL удовлетворяет следующим ограничениям для согласования битового потока.

[0116] Ограничения включают в себя первое условие, что опорный блок для текущего блока уже реконструирован. Когда опорный блок имеет прямоугольную форму, процесс проверки доступности опорного блока может осуществляться для проверки, реконструированы ли верхний левый отсчет и нижний правый отсчет опорного блока. Когда оба верхний левый отсчет и нижний правый отсчет опорного блока реконструированы, определяется, что опорный блок реконструирован.

[0117] Например, когда процесс определения доступности опорного блока вызывается с позицией (xCurr, yCurr) верхнего левого отсчета текущего блока, установленной равной (xCb, yCb), и позицией верхнего левого отсчета опорного блока в качестве входов, выход равен TRUE, когда верхний левый отсчет опорного блока реконструирован, где вектор блока mvL является двухмерным вектором, имеющим х-компонент mvL[0] и у-компонент mvL[1].

[0118] Аналогично, когда процесс определения доступности блока вызывается с позицией (xCurr, yCurr) верхнего левого отсчета текущего блока, установленной равной (xCb, yCb), и позицией нижнего правого отсчета опорного блока в качестве входов, выход равен TRUE, когда нижний правый отсчет опорного блока реконструирован. Параметры cbWidth и cbHeight представляют ширину и высоту опорного блока.

[0119] Ограничения также могут включать в себя по меньшей мере одно из следующих вторых условий: 1) значение (mvL[0] >> 4)+cbWidth меньше или равно 0, и это указывает, что опорный блок располагается слева от текущего блока и не перекрывается с текущим блоком; 2) значение (mvL[1] >> 4)+cbHeight меньше или равно 0, и это указывает, что опорный блок располагается над текущим блоком и не перекрывается с текущим блоком.

[0120] Ограничения также могут указывать, что вектор блока mvL должен удовлетворять следующим третьим условиям:

где параметр CtbLog2SizeY представляет ширину СТВ в форме log2. Например, когда ширина СТВ составляет 128 отсчетов, CtbLog2SizeY равен 7. Уравнения (1)-(2) определяют, что СТВ, включающий в себя опорный блок, находится в той же строке СТВ, что и текущий СТВ (т.е. ранее реконструированный СТВ (1010) находится в той же строке, что и текущий СТВ (1015), когда опорный блок находится в ранее реконструированном СТВ (1010)). Уравнения (3)-(4) определяют, что СТВ, включающий в себя опорный блок, находится либо в левом столбце СТВ текущего СТВ, либо в том же столбце СТВ, что и текущий СТВ. Третьи условия, согласно уравнениям (1)-(4), определяют, что СТВ, включающий в себя опорный блок, является либо текущим СТВ, например, текущим СТВ (1015), либо соседним слева, например, ранее реконструированным СТВ (1010), от текущего СТВ, аналогично описанию со ссылкой на фиг. 10.

[0121] Ограничения могут дополнительно включать в себя четвертые условия: когда опорный блок находится по соседству слева от текущего СТВ, соответственно расположенная область для опорного блока не реконструирована (т.е. ни один отсчет в соответственно расположенной области не был реконструирован). Кроме того, соответственно расположенная область для опорного блока находится в текущем СТВ. В примере, приведенном на фиг. 10, соответственно расположенная область для опорного блока (1091) является областью (1019), которая смещена на ширину СТВ от области (1014), где располагается опорный блок (1091), и область (1019) не была реконструирована. Поэтому вектор блока (1020) и опорный блок (1091) удовлетворяют вышеописанным четвертым условиям.

[0122] Например, четвертые условия можно задать следующим образом: когда процесс определения доступности опорного блока вызывается с позицией текущего блока (xCurr, yCurr), установленной равной (xCb, yCb), и позицией в качестве входов, выход равен FALSE, указывая, что соответственно расположенная область не реконструирована, например, как показано на фиг. 10.

[0123] Ограничения для зоны поиска и/или вектора блока могут включать в себя подходящую комбинацию вышеописанных первых, вторых, третьих и четвертых условий. Например, ограничения включают в себя первые, вторые, третьи и четвертые условия, например, как показано на фиг. 10. В порядке примера, первые, вторые, третьи и/или четвертые условия можно модифицировать, и ограничения включают в себя модифицированные первые, вторые, третьи и/или четвертые условия.

[0124] Согласно четвертым условиям, когда один из блоков (1022)-(1029) кодирования является текущим блоком, опорный блок не может находиться в области (1011), и, таким образом, зона поиска для одного из блоков (1022)-(1029) кодирования исключает область (1011). Причины исключения области (1011) указаны ниже: если опорный блок находится в области (1011), то соответственно расположенная область для опорного блока является областью (1016), однако по меньшей мере отсчеты в блоке (1021) кодирования были реконструированы, и, таким образом, четвертые условия нарушаются. С другой стороны, для блока кодирования, подлежащего реконструкции первым в текущей области, например, блока (1121) кодирования в области (1116) на фиг. 11, четвертые условия не запрещают опорному блоку находиться в области (1111) поскольку соответственно расположенная область (1116) для опорного блока еще не реконструирована.

[0125] На фиг. 11 показан пример интра-блочного копирования согласно варианту осуществления изобретения. Текущее изображение (1101) включает в себя текущий СТВ (1115), подлежащий реконструкции, и ранее реконструированный СТВ (1110), который располагается по соседству слева от текущего СТВ (1115). СТВ в текущем изображении (1101) имеют размер СТВ и ширину СТВ. Текущий СТВ (1115) включает в себя четыре области (1116)-(1119), где текущая область (1116) подлежит реконструкции. Текущая область (1116) включает в себя множество блоков кодирования (1121)-(1129). Аналогично, ранее реконструированный СТВ (1110) включает в себя четыре области (1111)-(1114). Текущий блок (1121), подлежащий реконструкции, подлежит реконструкции первым в текущей области (1116), и блоки (1122)-(1129) кодирования подлежат реконструкции. Например, размер СТВ составляет 128 × 128 отсчетов, каждая из областей (1111)-(1114) и (1116)-(1119) имеет 64 × 64 отсчета. Размер опорной памяти равен размеру СТВ и составляет 128 × 128 отсчетов, и, таким образом, зона поиска, когда она ограничена размером опорной памяти, включает в себя 3 области и участок дополнительной области.

[0126] Аналогично описанному со ссылкой на фиг. 10, текущая область (1116) имеет соответственно расположенную область (т.е. область (1111) в ранее реконструированном СТВ (1110)). Согласно вышеописанным четвертым условиям, опорный блок для текущего блока (1121) может находиться в области (1111), и, таким образом, зона поиска может включать в себя области (1111)-(1114). Например, когда опорный блок находится в области (1111), соответственно расположенная область опорного блока является областью (1116), где ни один отсчет в области (1116) не был реконструирован до реконструкции текущего блока (1121). Однако, как описано со ссылкой на фиг. 10 и четвертые условия, например, после реконструкции блока (1121) кодирования, область (1111) больше не будет доступна для включения в зону поиска для реконструкции блока (1122) кодирования. Поэтому строгая синхронизация и управление хронированием буфера опорной памяти должны использоваться и могут быть сложными.

[0127] Согласно некоторым вариантам осуществления, когда текущий блок подлежит реконструкции первым в текущей области текущего СТВ, зона поиска может исключать область, расположенную соответственно текущей области, которая находится в ранее реконструированном СТВ, когда текущий СТВ и ранее реконструированный СТВ находятся в одном и том же текущем изображении. Вектор блока можно определить таким образом, что опорный блок находится в зоне поиска, который исключает соответственно расположенную область в ранее реконструированном СТВ. Согласно варианту осуществления, зона поиска включает в себя блоки кодирования, которые реконструированы после соответственно расположенной области и до текущего блока в порядке декодирования.

[0128] В нижеприведенном описании размер СТВ может изменяться, и максимальный размер СТВ устанавливается равным размеру опорной памяти. Например, размер опорной памяти или максимальный размер СТВ составляет 128 × 128 отсчетов. Описание может быть надлежащим образом адаптировано к другим размерам опорной памяти или максимальным размерам СТВ.

[0129] Согласно варианту осуществления, размер СТВ равен размеру опорной памяти. Ранее реконструированный СТВ соседствует с текущим СТВ слева, позиция соответственно расположенной области смещена на ширину СТВ от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и ранее реконструированного СТВ.

[0130] На фиг. 12A-12D показаны примеры интра-блочного копирования согласно варианту осуществления изобретения. Согласно фиг. 12A-D, текущее изображение (1201) включает в себя текущий СТВ (1215), подлежащий реконструкции, и ранее реконструированный СТВ (1210), который располагается по соседству слева от текущего СТВ (1215). СТВ в текущем изображении (1201) имеют размер СТВ и ширину СТВ. Текущий СТВ (1215) включает в себя четыре области (1216)-(1219). Аналогично, ранее реконструированный СТВ (1210) включает в себя четыре области (1211)-(1214). Согласно варианту осуществления, размер СТВ равен максимальному размеру СТВ и равен размеру опорной памяти. Например, размер СТВ и размер опорной памяти составляют 128 × 128 отсчетов, и, таким образом, каждая из областей (1211)-(1214) и (1216)-(1219) имеет размер 64 × 64 отсчета.

[0131] В примерах, проиллюстрированных на фиг. 12A-D, текущий СТВ (1215) включает в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область, которые соответствуют областям (1216)-(1219), соответственно. Ранее реконструированный СТВ (1210) включает в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область, которые соответствуют областям (1211)-(1214), соответственно.

[0132] Согласно фиг. 12А, текущая область (1216) подлежит реконструкции. Текущая область (1216) включает в себя множество блоков (1221)-(1229) кодирования. Текущий блок (1221) подлежит реконструкции первым в текущей области (1216). Текущая область (1216) имеет соответственно расположенную область, т.е. область (1211), в ранее реконструированном СТВ (1210). Согласно некоторым вариантам осуществления, зона поиска для текущего блока (1221) исключает соответственно расположенную область (1211), когда текущий блок (1221) подлежит реконструкции первым в текущей области (1216). Поэтому строгая синхронизация и управление хронированием буфера опорной памяти не требуется. В противном случае, когда текущий блок (1221) подлежит реконструкции первым в текущей области (1216), и зона поиска для текущего блока (1221) включает в себя соответственно расположенную область (1211) и области (1212)-(1214), отсчеты соответственно расположенной области (1211) могут использоваться для предсказания текущего блока (1221). Например, отсчеты можно извлекать из соответственно расположенного блока текущего блока (1221) в ранее реконструированном СТВ (1210), затем порядок обработки в буфере опорной памяти может включать в себя: чтение (или получение) отсчета от позиции x в буфере опорной памяти, осуществление предсказания для отсчета в текущем блоке (1221) с использованием отсчета из позиции х, прибавление остатка к предсказанию и затем запись реконструированного отсчета обратно в позицию x в буфере опорной памяти. Процессы записи и чтения с использованием одной и той же ячейки x опорной памяти могут требовать строгой синхронизации, что в некоторых примерах может не быть предпочтительно. Зона поиска включает в себя области (1212)-(1214) ранее реконструированного СТВ (1210), которые реконструированы после соответственно расположенной области (1211) и до текущего блока (1221) в порядке декодирования.

[0133] Согласно фиг. 12А, позиция соответственно расположенной области (1211) смещена на ширину СТВ, например 128 отсчетов, от позиции текущей области (1216). Например, позиция соответственно расположенной области (1211) сдвинута влево на 128 отсчетов от позиции текущей области (1216).

[0134] Опять же, согласно фиг. 12А, когда текущая область (1216) является верхней левой областью текущего СТВ (1215), соответственно расположенная область (1211) является верхней левой областью ранее реконструированного СТВ (1210), и зона поиска исключает верхнюю левую область ранее реконструированного СТВ.

[0135] Согласно фиг. 12 В, текущая область (1217) подлежит реконструкции. Текущая область (1217) включает в себя множество блоков (1241)-(1249) кодирования. Текущий блок (1241) подлежит реконструкции первым в текущей области (1217). Текущая область (1217) имеет соответственно расположенную область (т.е. область (1212), в ранее реконструированном СТВ (1210)). Согласно аспектам изобретения, зона поиска для текущего блока (1241) исключает соответственно расположенную область (1212), где текущий блок (1241) подлежит реконструкции первым в текущей области (1217). Поэтому строгая синхронизация и управление хронированием буфера опорной памяти не требуется. Зона поиска включает в себя области (1213)-(1214) ранее реконструированного СТВ (1210) и область (1216) в текущем СТВ (1215), которые реконструированы после соответственно расположенной области (1212) и до текущего блока (1241). Зона поиска дополнительно исключает область (1211) в силу ограниченного размера опорной памяти (т.е. одного размера СТВ). Аналогично, позиция соответственно расположенной области (1212) смещена на ширину СТВ, например 128 отсчетов, от позиции текущей области (1217).

[0136] В примере, приведенном на фиг. 12 В, текущая область (1217) является верхней правой областью текущего СТВ (1215), соответственно расположенная область (1212) также является верхней правой областью ранее реконструированного СТВ (1210), и зона поиска исключает верхнюю правую область ранее реконструированного СТВ (1210).

[0137] Согласно фиг. 12С, текущая область (1218) подлежит реконструкции. Текущая область (1218) включает в себя множество блоков (1261)-(1269) кодирования. Текущий блок (1261) подлежит реконструкции первым в текущей области (1218). Текущая область (1218) имеет соответственно расположенную область (т.е. область (1213)), в ранее реконструированном СТВ (1210). Согласно аспектам изобретения, зона поиска для текущего блока (1261) исключает соответственно расположенную область (1213), когда текущий блок (1261) подлежит реконструкции первым в текущей области (1218). Поэтому строгая синхронизация и управление хронированием буфера опорной памяти не требуется. Зона поиска включает в себя область (1214) ранее реконструированного СТВ (1210) и области (1216)-(1217) в текущем СТВ (1215), которые реконструированы после соответственно расположенной области (1213) и до текущего блока (1261). Аналогично, зона поиска дополнительно исключает области (1211)-(1212) в силу ограниченного размера опорной памяти. Позиция соответственно расположенной области (1213) смещена на ширину СТВ, например 128 отсчетов, от позиции текущей области (1218). В примере, приведенном на фиг. 12С, когда текущая область (1218) является нижней левой областью текущего СТВ (1215), соответственно расположенная область (1213) также является нижней левой областью ранее реконструированного СТВ (1210), и зона поиска исключает нижнюю левую область ранее реконструированного СТВ (1210).

[0138] Согласно фиг. 12D, текущая область (1219) подлежит реконструкции. Текущая область (1219) включает в себя множество блоков (1281)-(1289) кодирования. Текущий блок (1281) подлежит реконструкции первым в текущей области (1219). Текущая область (1219) имеет соответственно расположенную область (т.е. область (1214)), в ранее реконструированном СТВ (1210). Согласно аспектам изобретения, зона поиска для текущего блока (1281) исключает соответственно расположенную область (1214), когда текущий блок (1281) подлежит реконструкции первым в текущей области (1219). Поэтому строгая синхронизация и управление хронированием буфера опорной памяти не требуется. Зона поиска включает в себя области (1216)-(1218) в текущем СТВ (1215), которые реконструированы после соответственно расположенной области (1214) и до текущего блока (1281) в порядке декодирования. Зона поиска исключает области (1211)-(1213) в силу ограниченного размера опорной памяти, и, таким образом, зона поиска исключает ранее реконструированный СТВ (1210). Аналогично, позиция соответственно расположенной области (1214) смещена на ширину СТВ, например 128 отсчетов, от позиции текущей области (1219). В примере, приведенном на фиг. 12D, когда текущая область (1219) является нижней правой областью текущего СТВ (1215), соответственно расположенная область (1214) также является нижней правой областью ранее реконструированного СТВ (1210), и зона поиска исключает нижнюю правую область ранее реконструированного СТВ (1210).

[0139] Как описано выше со ссылкой на фиг. 12A-12D, зона поиска и вектор блока mvL текущего блока удовлетворяют модифицированным четвертым условиям, где текущий блок подлежит реконструкции первым в текущей области текущего СТВ. В некоторых вариантах осуществления модифицированные четвертые условия задаются в виде: когда процесс определения доступности опорного блока вызывается с позицией текущего блока (xCurr, yCurr), установленной равной (xCb, yCb), и позицией в качестве входов, выход равен FALSE, указывая, что соответственно расположенная область не реконструирована.

[0140] Дополнительно, модифицированные четвертые условия включают в себя дополнительное условие: позиция не равна (xCb, yCb). Как описано со ссылкой на фиг. 10, позиция верхнего левого отсчета текущего блока представлена в виде (xCb, yCb), позиция верхнего левого отсчета опорного блока представлена в виде (xCb+(mvL[0] >> 4), yCb+(mvL[l] >> 4)), и, таким образом, позиция верхнего левого отсчета соответственно расположенной области опорного блока представлена позицией где соответственно расположенная область опорного блока находится в текущем СТВ. Дополнительное условие гарантирует, что позиция верхнего левого отсчета соответственно расположенной области опорного блока не равна позиции верхнего левого отсчета текущего блока. В связи с этим, когда текущий блок подлежит реконструкции первым в текущей области, опорный блок не может находиться в области, расположенной соответственно текущей области. В противном случае, дополнительное условие не выполняется. Соответственно, зона поиска исключает область, расположенную соответственно текущей области.

[0141] В примерах, проиллюстрированных на фиг. 12A-12D, зона поиска и вектор блока также удовлетворяют первым, вторым и третьим условиям, описанным со ссылкой на фиг. 10.

[0142] Как описано выше, когда текущий блок подлежит реконструкции первым в текущей области текущего СТВ, зона поиска может исключать область, расположенную соответственно текущей области в ранее реконструированном СТВ, где текущий СТВ и ранее реконструированный СТВ находятся в одном и том же текущем изображении. Согласно аспектам изобретения, когда размер СТВ меньше размера опорной памяти, позиция соответственно расположенной области может смещаться на величину, кратную ширине СТВ от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ, ранее реконструированного СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ. Описание со ссылкой на фиг. 12A-12D можно надлежащим образом адаптировать, когда размер СТВ меньше размера опорной памяти, например, как показано на фиг. 13.

[0143] На фиг. 13 показан пример интра-блочного копирования с зоной поиска, превышающей размер СТВ, согласно варианту осуществления изобретения. Текущее изображение (1301) включает в себя текущий СТВ (1315), подлежащий реконструкции, и множество ранее реконструированных СТВ (1310) и (1321)-(1323). СТВ в текущем изображении (1301) имеют размер СТВ и ширину СТВ. Текущий СТВ (1315) включает в себя четыре области (1316)-(1319). Аналогично, ранее реконструированный СТВ (1310) включает в себя четыре области (1311)-(1314). Например, размер опорной памяти составляет 128 × 128 отсчетов и может быть равен максимальному размеру СТВ, причем размер СТВ меньше размера опорной памяти, или максимальный размер СТВ составляет 64 × 64 отсчета, а каждая из областей (1311)-(1314) и (1316)-(1319) имеет размер 32 × 32 отсчета. Отношение N представляет отношение размера опорной памяти к размеру СТВ.

[0144] Текущий СТВ (1315) включает в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область, которые соответствуют областям (1316)-(1319), соответственно. Ранее реконструированный СТВ (1310) включает в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область, которые соответствуют областям (1311)-(1314), соответственно.

[0145] Текущая область (1317) подлежит реконструкции. Текущая область (1317) включает в себя множество блоков A-I кодирования. Текущий блок А подлежит реконструкции первым в текущей области (1317). Текущая область (1317) имеет соответственно расположенную область (1312) в ранее реконструированном СТВ (1310). Согласно аспектам изобретения, зона поиска для текущего блока А исключает соответственно расположенную область (1312). Зона поиска включает в себя области (1313)-(1314) ранее реконструированного СТВ (1310), СТВ (1321)-(1323) и область (1316), которые реконструированы после соответственно расположенной области (1312) и до текущего блока А. Поэтому самый левый СТВ, который может включать в себя зону поиска, смещен на N значений ширины СТВ от текущего СТВ (1315). Позиция соответственно расположенной области (1312) также смещена на N значений ширины СТВ от позиции текущей области (1317). В примере, приведенном на фиг. 13, отношение N равно 4, самый левый СТВ является ранее реконструированным СТВ (1310) который смещен на 4 ширины СТВ от текущего СТВ (1315). Позиция соответственно расположенной области (1312) сдвинута влево на 256 отсчетов, т.е. 4 ширины СТВ (64 отсчета), от позиции текущей области (1317).

[0146] Как показано в примере на фиг. 13, когда текущая область (1317) является верхней правой областью текущего СТВ (1315), соответственно расположенная область (1312) также является верхней правой областью ранее реконструированного СТВ (1310), и зона поиска исключает верхнюю правую область ранее реконструированного СТВ (1310).

[0147] Описание со ссылкой на фиг. 13 можно надлежащим образом адаптировать, когда текущий блок подлежит реконструкции первым в другой области, например, в области (1316), области (1318) или области (1319). Для краткости подробное описание опущено.

[0148] Когда размер СТВ меньше размера опорной памяти, например, размер СТВ составляет 64×64 отсчета, а размер опорной памяти равен 128×128 отсчетов, разные варианты осуществления, отличные от представленных в примере фиг. 13, могут быть реализованы следующим образом. Согласно нижеследующим вариантам осуществления, текущий блок, подлежащий реконструкции с использованием режима IBC, находится в текущей области текущего СТВ, подлежащего реконструкции. Опорный блок текущего блока находится в зоне поиска. Отношение N размера опорной памяти к размеру СТВ больше, чем 1. N ранее реконструированных СТВ сдвинуты влево на N, (N-1), …, и 1 значений ширины СТВ от текущего СТВ, соответственно. Зона поиска может включать в себя по меньшей мере один из текущего СТВ, самого левого СТВ (т.е. СТВ, сдвинутого влево на N значений ширины СТВ) и (N-1) ранее реконструированных СТВ (также именуемых (N-1) СТВ) между самым левым СТВ и текущим СТВ.

[0149] В первом варианте осуществления, зона поиска для текущего блока находится в текущем СТВ и ранее реконструированном СТВ, который располагается по соседству слева от текущего СТВ. Поскольку размер опорной памяти равен по меньшей мере 2 размерам СТВ, каждый блок кодирования из соседних слева может быть доступен как опорный блок, и, таким образом, дополнительной проверки доступности опорного блока не требуется. Например, текущий блок реконструируется первым в текущей области. Например, текущий блок реконструируется после ранее реконструированного блока кодирования в текущей области.

[0150] Во втором варианте осуществления, зона поиска расширяется, чтобы включать в себя (N-1) СТВ между самым левым СТВ и текущим СТВ. Соответственно, зона поиска включает в себя (N-1) СТВ и исключает самый левый СТВ. Зона поиска может дополнительно включать в себя реконструированный участок в текущем СТВ. Поскольку размер опорной памяти равен N размерам СТВ, размер зоны поиска находится в пределах размера опорной памяти, и, таким образом, дополнительной проверки доступности опорного блока не требуется, когда (N-1) СТВ и текущий СТВ находятся в одном и том же тайле, том же слайсе и т.п. Согласно фиг. 13, отношение N равно 4, зона поиска включает в себя 3 ранее реконструированных СТВ (т.е. ранее реконструированных СТВ (1321)-(1323) между самым левым СТВ (1310) и текущим СТВ (1315)). Ранее реконструированные СТВ (1321)-(1323) полностью доступны для ссылки на них, например, если ранее реконструированные СТВ (1321)-(1323) и текущий СТВ (1315) находятся в одном и том же тайле или слайсе, и, таким образом, дополнительной проверки доступности опорного блока не требуется.

[0151] В третьем варианте осуществления, зона поиска расширяется до N ранее реконструированных СТВ, включающих в себя самый левый СТВ, и может потребоваться специальная обработка. Текущий СТВ и самый левый СТВ могут быть разделены на четыре области равного размера. Например, четыре области являются квадратными областями. В зависимости от того, в какой из областей располагается текущий блок, часть самого левого СТВ может быть или не быть доступна для ссылки, например, аналогично описанию со ссылкой на фиг. 10, 11 и 12A-D.

[0152] В первом примере третьего варианта осуществления, зона поиска и вектор блока для текущего блока удовлетворяют ограничениям, которые надлежащим образом адаптированы на основе ограничений, описанных со ссылкой на фиг. 10. Например, модифицированные ограничения включают в себя первые условия, вторые условия, модифицированные третьи условия и модифицированные четвертые условия. Модифицированные третьи условия можно задать следующим образом:

где ур. (1)-(2) и (4) остаются такими же, как в третьих условиях, а уравнение (5) заменяет уравнение (3) в третьих условиях. Параметр MaxCtbLog2SizeY представляет максимальный размер СТВ или размер опорной памяти в форме log2. Как описано выше, зона поиска может включать в себя N ранее реконструированных СТВ, например, самый левый СТВ (1310), который смещен назначений ширины СТВ от текущего СТВ (1315), и (N-1) СТВ, находящихся между самым левым СТВ (1310) и текущим СТВ (1315) в примере, показанном на фиг. 13. Уравнения (4)-(5) ограничивают опорный блок расположением его в одном из самого левого СТВ (1310), текущего СТВ (1315) и (N-1) СТВ(1321)-(1323).

[0153] Модифицированные четвертые условия могут определять, что, когда опорный блок находится в самом левом СТВ (1310), соответственно расположенная область для опорного блока не реконструирована (т.е. ни один отсчет в соответственно расположенной области не реконструирован, где соответственно расположенная область для опорного блока находится в текущем СТВ (1315)). Соответственно расположенная область для опорного блока смещена на N значений ширины СТВ от области, где располагается опорный блок. Например, модифицированные четвертые условия можно задать нижеследующим образом: когда равно процесс определения доступности опорного блока вызывается с позицией верхнего левого отсчета текущего блока (xCurr, yCurr), установленной равной (xCb, yCb), и позицией в качестве входов, выход равен FALSE, указывая, что соответственно расположенная область для опорного блока не реконструирована.

[0154] Во втором примере третьего варианта осуществления, зона поиска и вектор блока для текущего блока удовлетворяют ограничениям, которые надлежащим образом адаптированы на основе ограничений, описанных со ссылкой на фиг. 10. Например, модифицированные ограничения включают в себя первые условия, вторые условия, модифицированные третьи условия и модифицированные четвертые условия. Модифицированные третьи условия могут быть идентичны описанным со ссылкой на первый пример третьего варианта осуществления, и, таким образом, подробности для краткости опущены. Модифицированные четвертые условия включают в себя модифицированные четвертые условия, описанные со ссылкой на первый пример третьего варианта осуществления. Дополнительно, модифицированные четвертые условия включают в себя следующее дополнительное условие: когда CtbLog2SizeY равен MaxCtbLog2SizeY, позиция не равна (xCb, yCb). Дополнительное условие гарантирует, что позиция соответственно расположенной области опорного блока не равна позиции текущего блока. В связи с этим, когда текущий блок подлежит реконструкции первым в текущей области, опорный блок не может находиться в области, расположенной соответственно текущей области. Соответственно, зона поиска исключает область, расположенную соответственно текущей области.

[0155] В четвертом варианте осуществления, самый левый СТВ задается недоступным для ссылки, и, таким образом, зона поиска исключает самый левый СТВ. Поэтому зона поиска может включать в себя реконструированную часть текущего СТВ и (N-1) СТВ между самым левым СТВ и текущим СТВ, аналогично второму варианту осуществления.

[0156] В первом примере четвертого варианта осуществления, зона поиска и вектор блока для текущего блока удовлетворяют ограничениям, которые надлежащим образом адаптированы на основе ограничений, описанных со ссылкой на фиг. 10. Например, модифицированные ограничения включают в себя первые условия, вторые условия, модифицированные третьи условия и модифицированные четвертые условия. Модифицированные третьи условия можно задать следующим образом:

где уравнения (1)-(2) и (4) остаются такими же, как в третьих условиях, и уравнение (6) заменяет уравнение (3) в третьих условиях. Уравнения (4) и (6) ограничивают опорный блок его расположением в одном из текущего СТВ и (N-1) СТВ.

[0157] Модифицированные четвертые условия могут определять, что, когда опорный блок находится по соседству слева от текущего СТВ, и размер СТВ является максимальным размером СТВ (также размером опорной памяти), соответственно расположенная область для опорного блока не реконструирована (т.е. ни один отсчет в соответственно расположенной области не реконструирован, где соответственно расположенная область для опорного блока находится в текущем СТВ). Например, модифицированные четвертые условия можно задать нижеследующим образом: когда (xCb+(mvL[0] >> 4)) >> CtbLog2SizeY равно (xCb >> CtbLog2SizeY) 1, и CtbLog2SizeY равно MaxCtbLog2SizeY, процесс определения доступности опорного блока вызывается с позицией верхнего левого отсчета текущего блока (xCurr, yCurr) установленной равной (xCb, yCb), и позицией (((xCb+(mvL[0] >> 4)+CtbSizeY) >> (CtbLog2SizeY - 1)) << (CtbLog2SizeY - 1), ((yCb+(mvL[l] >> 4)) >> (CtbLog2SizeY -1)) << (CtbLog2SizeY 1)) в качестве входов, выход равен FALSE, указывая, что соответственно расположенная область для опорного блока не реконструирована.

[0158] Во втором примере четвертого варианта осуществления, зона поиска и вектор блока для текущего блока удовлетворяют ограничениям, которые надлежащим образом адаптированы на основе ограничений, описанных со ссылкой на фиг. 10. Например, модифицированные ограничения включают в себя первые условия, вторые условия, модифицированные третьи условия и модифицированные четвертые условия. Модифицированные третьи условия могут быть идентичны модифицированным третьим условиям первого примера четвертого варианта осуществления, которые ограничивают опорный блок его расположением в одном из текущего СТВ и (N-1) СТВ.

[0159] Модифицированные четвертые условия включают в себя модифицированные четвертые условия первого примера четвертого варианта осуществления. Поэтому, когда опорный блок находится по соседству слева от текущего СТВ, и размер СТВ является максимальным размером СТВ (также размером опорной памяти), соответственно расположенная область для опорного блока не реконструирована (т.е. ни один отсчет в соответственно расположенной области не реконструирован, где соответственно расположенная область для опорного блока находится в текущем СТВ). Дополнительно, модифицированные четвертые условия включают в себя следующее дополнительное условие: когда CtbLog2SizeY равно MaxCtbLog2SizeY, позиция не равна (xCb, yCb). Дополнительное условие гарантирует, что позиция соответственно расположенной области опорного блока не равна позиции текущего блока. В связи с этим, когда текущий блок подлежит реконструкции первым в текущей области, опорный блок не может находиться в области, расположенной соответственно текущей области. Соответственно, зона поиска исключает область, расположенную соответственно текущей области.

[0160] Согласно вышеприведенному описанию, СТВ может включать в себя четыре области. Например, текущий СТВ 1015 включает в себя области (1016-1019). Описание может быть надлежащим образом адаптировано к сценариям, где СТВ включает в себя любое подходящее количество областей, это количество может быть положительным целым числом. Кроме того, области могут иметь любые подходящие размер и форму, в том числе прямоугольную, квадратную и т.п. Например, размер областей можно определить на основе размера опорной памяти, размера блока памяти и т.п. Согласно вышеприведенным примерам, область может включать в себя 9 блоков кодирования. В общем случае, область может включать в себя любое подходящее количество блоков кодирования, и описание можно надлежащим образом адаптировать.

[0161] На фиг. 14 показана блок-схема операций процесса (1400) согласно варианту осуществления изобретения. Процесс (1400) может использоваться при реконструкции текущего блока, кодированного в режиме интра-блочного копирования, для генерации опорного блока для блока, подлежащего реконструкции. В различных вариантах осуществления, процесс (1400) выполняется схемой обработки, например, схемой обработки в оконечных устройствах (310), (320), (330) и (340), схемой обработки, которая осуществляет функции видеокодера (403), схемой обработки, которая осуществляет функции видеодекодера (410), схемой обработки, которая осуществляет функции видеодекодера (510), схемой обработки, которая осуществляет функции видеокодера (603), и т.п. В некоторых вариантах осуществления процесс (1400) реализован в программных инструкциях, таким образом, когда схема обработки выполняет программные инструкции, схема обработки осуществляет процесс (1400). Процесс начинается на этапе (S1401) и переходит к (S1410).

[0162] На этапе (S1410) информация предсказания текущего блока декодируется из битового потока кодированного видео. Информация предсказания указывает режим интра-блочного копирования. Текущий блок является одним из множества блоков кодирования в текущей области текущего СТВ в текущем изображении.

[0163] На этапе (S1420), когда текущий блок подлежит реконструкции первым в текущей области, вектор блока определяется для текущего блока, при этом опорный блок, указанный вектором блока, находится в зоне поиска, которая исключает соответственно расположенную область в ранее реконструированном СТВ. Как описано выше со ссылкой на фиг. 10, 11, 12A-12D и 13, соответственно расположенная область в ранее реконструированном СТВ имеет такую же относительную позицию, как и текущая область в текущем СТВ.

[0164] Зона поиска находится в текущем изображении. Согласно варианту осуществления, зона поиска включает в себя блоки кодирования, которые реконструированы после упомянутой соответственно расположенной области и до текущего блока.

[0165] Согласно варианту осуществления, размер СТВ можно сравнивать с размером опорной памяти. Например, когда размер СТВ равен размеру опорной памяти, ранее реконструированный СТВ соседствует с текущим СТВ слева, позиция соответственно расположенной области смещена на ширину текущего СТВ от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и ранее реконструированного СТВ. Например, размер текущего СТВ и ранее реконструированного СТВ равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 64 × 64 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 64 × 64 отсчета, позиция соответственно расположенной области смещена на 128 отсчетов от позиции текущей области, причем текущая область является одной из четырех областей в текущем СТВ, и соответственно расположенная область является одной из четырех областей в ранее реконструированном СТВ.

[0166] Например, размер СТВ меньше размера опорной памяти, и отношение N размера опорной памяти к размеру СТВ больше, чем 1. Соответственно, позиция соответственно расположенной области смещена на N значений ширины СТВ от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ, самого левого ранее реконструированного СТВ, который сдвинут влево на N значений ширины СТВ от текущего СТВ, и (N-1) реконструированном СТВ между текущим СТВ и самым левым ранее реконструированным СТВ. Например, размер СТВ составляет 64 × 64 отсчета, размер опорной памяти равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 32 × 32 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 32 × 32 отсчета, позиция соответственно расположенной области смещена на 256 отсчетов от позиции текущей области.

[0167] Альтернативно, когда размер СТВ меньше размера опорной памяти, зона поиска исключает самый левый ранее реконструированный СТВ. Например, зона поиска может включать в себя (N-1) реконструированных СТВ и реконструированную часть текущего СТВ.

[0168] На этапе (S1430) по меньшей мере один отсчет текущего блока реконструируется согласно вектору блока. Например, опорный блок получается с использованием вектора блока, и по меньшей мере одна отсчет получается из опорного блока. Затем процесс (1400) переходит к (S1499) и заканчивается.

[0169] Процесс (1400) может быть надлежащим образом адаптирован к различным сценариям, например, когда текущий СТВ включает в себя количество областей, которое отличается от четырех областей. Согласно варианту осуществления, процесс (1400) также может использоваться для реконструкции блока кодирования, который реконструируется после другого блока кодирования в текущей области.

[0170] Вышеописанные методы могут быть реализованы в виде компьютерного программного обеспечения, использующего компьютерно-считываемые инструкции и физически хранящегося на одном или более компьютерно-считываемых носителях. Например, на фиг. 15 показана компьютерная система (1500), пригодная для реализации некоторых вариантов осуществления раскрытого изобретения.

[0171] Компьютерное программное обеспечение может кодироваться с использованием любого подходящего машинного кода или компьютерного языка, который может подвергаться ассемблированию, компиляции, редактированию связей или аналогичной обработке для создания кода, содержащего инструкции, которые могут выполняться напрямую, или посредством интерпретации, выполнения микрокода и т.п., одним или более компьютерными центральными процессорами (CPU, central processing units), графическими процессорами (GPU, Graphics Processing Units) и т.п.

[0172] Инструкции могут выполняться на компьютерах различных типов или их компонентах, включая, например, персональные компьютеры, планшетные компьютеры, серверы, смартфоны, игровые устройства, устройства интернета вещей и т.п.

[0173] Компоненты компьютерной системы (1500), показанные на фиг. 15, носят иллюстративный характер и не призваны налагать какое-либо ограничение на объем применения или функциональные возможности компьютерного программного обеспечения, реализующего варианты осуществления настоящего изобретения. Конфигурацию компонентов также не следует интерпретировать как имеющую какую-либо зависимость или требование в связи с любым одним или комбинацией компонентов, показанных в иллюстративном варианте осуществления компьютерной системы (1500).

[0174] Компьютерная система (1500) может включать в себя некоторые устройства ввода интерфейса с человеком. Такое устройство ввода может отвечать за ввод одним или более пользователями посредством, например, тактильного ввода (например, нажатий на клавиши, махов, движений информационной перчатки), аудио-ввода (например, голосового, хлопков), визуального ввода (например, жестов), обонятельного ввода (не показан). Устройства интерфейса также могут использоваться для захвата некоторых информационных носителей, не обязательно напрямую связанных с осознанным вводом человеком, например звука (например, речи, музыки, внешнего звука), изображений (например, отсканированных изображений, фотографических изображений, полученных от камеры неподвижных изображений), видео (например, двухмерного видео, трехмерного видео, включающего в себя стереоскопическое видео).

[0175] Входной человеческий интерфейс устройства может включать в себя один или более из (по одному из изображенных): клавиатуры (1501), мыши (1502), сенсорной панели (1503), сенсорного экрана (1510), информационной перчатки (не показана), джойстика (1505), микрофона (1506), сканера (1507), камеры (1508).

[0176] Компьютерная система (1500) также может включать в себя некоторые устройства вывода интерфейса с человеком. Такие устройства вывода могут стимулировать органы чувств одного или более пользователей посредством, например, тактильного вывода, звука, света и запаха/вкуса. Такие устройства вывода могут включать в себя устройства тактильного вывода (например, тактильной обратной связи посредством сенсорного экрана (1510), информационной перчатки (не показана) или джойстика (1505), но также могут быть устройствами тактильной обратной связи, которые не служат устройствами ввода), устройства вывода аудио (например: громкоговорители (1509), наушники (не показаны)), устройства визуального вывода (например, экраны (1510), в том числе CRT-экраны, LCD-экраны, плазменные экраны, OLED-экраны, каждый с возможностями сенсорного экранного ввода или без них, каждый с возможностями тактильной обратной связи или без них, некоторые из которых способны к двухмерному визуальному выводу или более чем трехмерному выводу посредством, например, стереографического вывода; очков виртуальной реальности (не показаны), голографических дисплеев и дымовых баков (не показаны)) и принтеров (не показаны).

[0177] Компьютерная система (1500) также может включать в себя доступные человеку запоминающие устройства и связанные с ними носители, например, оптические носители, включающие в себя CD/DVD ROM/RW (1520) с носителями (1521) CD/DVD и т.п., карты (1522) флэш-памяти, сменный жесткий диск или твердотельный диск (1523), традиционные магнитные носители, например, ленту и флоппи-диск (не показан), специализированные устройства на основе ROM/ASIC/PLD, например, защитные аппаратные ключи (не показаны) и т.п.

[0178] Специалисты в данной области техники также должны понимать, что термин "компьютерно-считываемые носители", используемый в связи с раскрытым здесь изобретением, не охватывает среды передачи, несущие волны или другие кратковременные сигналы.

[0179] Компьютерная система (1500) также может включать в себя интерфейс к одной или более сетям связи. Сети могут быть, например, беспроводными, проводными, оптическими. Сети могут быть, дополнительно, локальными, глобальными, городскими, транспортными и промышленными, реального времени, допускающими задержку и т.д. Примеры сетей включают в себя локальные сети, например, Ethernet, беспроводные LAN, сотовые сети, в том числе GSM, 3G, 4G, 5G, LTE и т.п., глобальные цифровые сети проводного или беспроводного телевидения, в том числе кабельное телевидение, спутниковое телевидение и наземное телевещание, транспортные и промышленные включают в себя CANBus и т.д. Некоторые сети обычно требуют внешних адаптеров сетевого интерфейса, которые подключены к некоторым портам данных общего назначения или периферийным шинам (1549) (например, USB-порты компьютерной системы (1500)); другие обычно встраиваются в ядро компьютерной системы (1500) путем подключения к системной шине, как описано ниже (например, интерфейс Ethernet в компьютерную систему PC или интерфейс сотовой сети в компьютерную систему смартфона). Используя любую из этих сетей, компьютерная система (1500) может осуществлять связь с другими объектами. Такая связь может быть однонаправленной с возможностью только приема (например, телевещания), однонаправленной с возможностью только передачи (например, CANbus к некоторым устройствам CANbus) или двунаправленной, например, к другим компьютерным системам с использованием локальной или глобальной цифровой сети. Некоторые протоколы и стеки протоколов могут использоваться в каждой из этих сетей и вышеописанных сетевых интерфейсов.

[0180] Вышеупомянутые устройства человеческого интерфейса, доступные человеку запоминающие устройства и сетевые интерфейсы могут подключаться к ядру (1540) компьютерной системы (1500).

[0181] Ядро (1540) может включать в себя один или более центральных процессоров (CPU) (1541), графические процессоры (GPU) (1542), специализированные программируемые модули обработки в форме вентильных матриц, программируемых пользователем (FPGA, Field Programmable Gate Arrays) (1543), аппаратные ускорители (1544) для некоторых задач и т.д. Эти устройства, совместно с постоянной памятью (ROM) (1545), оперативной памятью (1546), внутренним хранилищем данных большой емкости, например, внутренними жесткими дисками, недоступными пользователю, SSD и т.п. (1547), могут соединяться посредством системной шины (1548). В некоторых компьютерных системах системная шина (1548) может быть доступна в форме одного или более физических разъемов для обеспечения расширений за счет дополнительных CPU, GPU и т.п. Периферийные устройства могут подключаться либо напрямую к системной шине (1548) ядра, либо через периферийную шину (1549). Архитектуры периферийной шины включают в себя PCI, USB и т.п.

[0182] CPU (1541), GPU (1542), FPGA (1543) и ускорители (1544) могут выполнять некоторые инструкции, которые совместно могут составлять вышеупомянутый компьютерный код. Этот компьютерный код может храниться в ROM (1545) или RAM (1546). Переходные данные также могут храниться в RAM (1546), тогда как постоянные данные могут храниться, например, во внутреннем хранилище (1547) данных большой емкости. Быстрое сохранение и извлечение из любого запоминающего устройства может обеспечиваться за счет использования кэш-памяти, которая может быть тесно связана с один или более CPU (1541), GPU (1542), хранилищем (1547) данных большой емкости, ROM (1545), RAM (1546) и т.п.

[0183] На компьютерно-считываемых носителях может храниться компьютерный код для осуществления различных компьютерно-реализуемых операций. Носители и компьютерный код могут быть специально созданы в целях настоящего изобретения или могут относиться к хорошо известным и доступным специалистам в области компьютерного программного обеспечения.

[0184] В порядке примера, но не ограничения, компьютерная система, имеющая архитектуру (1500), и, в частности, ядро (1540) может обеспечивать функциональные возможности благодаря выполнению процессором(ами) (включающим(и) в себя CPU, GPU, FPGA, ускорители и т.п.) программного обеспечения, воплощенного в одном или более материальных компьютерно-считываемых носителей. Такие компьютерно-считываемые носители могут быть носителями, связанными с доступным пользователю хранилищем данных большой емкости, представленным выше, а также некоторым хранилищем ядра (1540), носящим долговременный характер, например, внутренним хранилищем (1547) данных большой емкости или ROM (1545). Программное обеспечение, реализующее различные варианты осуществления настоящего изобретения, может храниться в таких устройствах и выполняться ядром (1540). Компьютерно-считываемый носитель может включать в себя одно или более запоминающих устройств или микросхем, в соответствии с конкретными нуждами. Программное обеспечение может предписывать ядру (1540) и, в частности, его процессорам (включая CPU, GPU, FPGA и т.п.) выполнять конкретные процессы или конкретные части описанных здесь конкретных процессов, включая задание структур данных, хранящихся в RAM (1546), и модификацию таких структур данных согласно процессам, заданным программным обеспечением. Дополнительно или альтернативно, компьютерная система может обеспечивать функциональные возможности благодаря логике, зашитой или иным образом воплощенной в схеме (например, ускоритель (1544)), который может действовать вместо или совместно с программным обеспечением для выполнения конкретных процессов или конкретных частей описанных здесь конкретных процессов. Ссылка на программное обеспечение может охватывать логику, и наоборот, когда это уместно. Ссылка на компьютерно-считываемые носители может охватывать схему (например, интегральную схему (IC, integrated circuit)), где хранится программное обеспечение для выполнения, схему, воплощающую логику для выполнения, или обе из них, когда это уместно. Настоящее изобретение охватывает любую подходящую комбинацию оборудования и программного обеспечения.

Приложение А: сокращения

JEM: модель совместного исследования

VVC: универсальное видеокодирование

BMS: набор эталонов

MV: вектор движения

HEVC: высокопроизводительное видеокодирование

SEI: информация дополнительного улучшения

VUI: информация пригодности видео

GOP: группа изображений

TU: единица преобразования

PU: единица предсказания

CTU: единица дерева кодирования

СТВ: блок дерева кодирования

РВ: блок предсказания

HRD: гипотетический эталонный декодер

SNR: отношение сигнал/шум

CPU: центральный процессор

GPU: графический процессор

CRT: кинескоп

LCD: жидкокристаллический дисплей

OLED: органический светодиод

CD: компакт-диск

DVD: цифровой видеодиск

ROM: постоянная память

RAM: оперативная память

ASIC: специализированная интегральная схема

PLD: программируемое логическое устройство

LAN: локальная сеть

GSM: глобальная система мобильной связи

LTE: проект долгосрочного развития систем связи

CANBus: шина контроллерной сети

USB: универсальная последовательная шина

PCI: межсоединение периферийных компонентов

FPGA: вентильные матрицы, программируемые пользователем

SSD: твердотельный привод

IC: интегральная схема

CU: единица кодирования

SCC: кодирование содержимого экрана

VTM: универсальная испытательная модель

BV: вектор блока

AMVP: усовершенствованное предсказание векторов движения

CPR: опора на текущее изображение

IBC: интра-блочное копирование

DPB: буфер изображений декодера

[0185] Хотя здесь описано несколько иллюстративных вариантов осуществления, возможны изменения, перестановки и различные эквиваленты для замены, которые укладываются в объем изобретения. Таким образом, специалисты в данной области техники могут предложить многочисленные системы и способы, которые, хотя в явном виде здесь не показаны и не описаны, воплощают принципы изобретения и, таким образом, соответствуют его сущности и объему.

Изобретение относится к области видеодекодирования. Техническим результатом является повышение эффективности декодирования. Предложено устройство, которое декодирует информацию предсказания текущего блока из битового потока кодированного видео. Информация предсказания указывает на режим интра-блочного копирования. Текущий блок является одним из множества блоков кодирования в текущей области текущего блока дерева кодирования (СТВ) в текущем изображении. Устройство определяет, должен ли текущий блок быть реконструирован первым в текущей области. Когда текущий блок подлежит реконструкции первым в текущей области, устройство определяет вектор блока для текущего блока, причем опорный блок, указанный вектором блока, находится в зоне поиска в текущем изображении, которая исключает соответственно расположенную область в ранее реконструированном СТВ. Соответственно расположенная область в ранее реконструированном СТВ имеет такую же относительную позицию, как и текущая область в текущем СТВ. 3 н. и 8 з.п. ф-лы, 18 ил.

1. Способ видеодекодирования, в котором:

декодируют информацию предсказания текущего блока из битового потока кодированного видео, причем информация предсказания указывает на режим интра-блочного копирования, при этом текущий блок является одним из множества блоков кодирования в текущей области текущего блока дерева кодирования (СТВ) в текущем изображении;

определяют, подлежит ли текущий блок реконструкции первым в текущей области;

когда текущий блок подлежит реконструкции первым в текущей области, определяют вектор блока для текущего блока, при этом опорный блок, указанный вектором блока, находится в зоне поиска, которая исключает соответственно расположенную область в ранее реконструированном СТВ, где позиция соответственно расположенной области в ранее реконструированном СТВ имеет такую же относительную позицию, как и текущая область в текущем СТВ, при этом зона поиска находится в текущем изображении; и

реконструируют по меньшей мере один отсчет текущего блока согласно вектору блока,

при этом зона поиска включает в себя блоки кодирования, которые реконструированы после соответственно расположенной области и до текущего блока, и

размер текущего СТВ меньше или равен размеру опорной памяти, и, когда размер текущего СТВ равен размеру опорной памяти, ранее реконструированный СТВ соседствует с текущим СТВ слева, позиция соответственно расположенной области смещена на ширину текущего СТВ от позиции текущей области, и блоки кодирования в зоне поиска включают по меньшей мере все оставшиеся области ранее реконструированного СТВ, которые не были исключены из зоны поиска, когда текущая область не является последней областью, которая должна быть реконструирована в текущем СТВ,

причем размер текущего СТВ и ранее реконструированного СТВ равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 64 × 64 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 64 × 64 отсчета, позиция соответственно расположенной области смещена на 128 отсчетов от позиции текущей области, причем текущая область является одной из четырех областей в текущем СТВ, а соответственно расположенная область является одной из четырех областей в ранее реконструированном СТВ, и

четыре области в текущем СТВ включают в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область;

четыре области в ранее реконструированном СТВ включают в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область;

когда текущая область является верхней левой областью текущего СТВ, соответственно расположенная область является верхней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область ранее реконструированного СТВ;

когда текущая область является верхней правой областью текущего СТВ, соответственно расположенная область является верхней правой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область и верхнюю правую область ранее реконструированного СТВ;

когда текущая область является нижней левой областью текущего СТВ, соответственно расположенная область является нижней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область, верхнюю правую область и нижнюю левую область ранее реконструированного СТВ; и

когда текущая область является нижней правой областью текущего СТВ, соответственно расположенная область является нижней правой областью ранее реконструированного СТВ, и зона поиска исключает ранее реконструированный СТВ.

2. Способ по п. 1, в котором, когда размер текущего СТВ меньше размера опорной памяти, позиция соответственно расположенной области смещена на расстояние, кратное ширине текущего СТВ, от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ, ранее реконструированного СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ.

3. Способ по п. 2, в котором размер текущего СТВ равен 64 × 64 отсчета, размер опорной памяти равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 32 × 32 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 32 × 32 отсчета, и позиция соответственно расположенной области смещена на 256 отсчетов от позиции текущей области.

4. Способ по п. 2 или 3, в котором блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ.

5. Способ по п. 2 или 3, в котором зона поиска исключает ранее реконструированный СТВ, который смещен на N значений ширины текущего СТВ от текущего СТВ, где N является отношением размера опорной памяти к размеру текущего СТВ.

6. Устройство для видеодекодирования, содержащее: схемы обработки, выполненные с возможностью:

декодировать информацию предсказания текущего блока из битового потока кодированного видео, при этом информация предсказания указывает на режим интра-блочного копирования, причем текущий блок является одним из множества блоков кодирования в текущей области текущего блока дерева кодирования (СТВ) в текущем изображении;

определять, подлежит ли текущий блок реконструкции первым в текущей области;

когда текущий блок подлежит реконструкции первым в текущей области, определять вектор блока для текущего блока, при этом опорный блок, указанный вектором блока, находится в зоне поиска, которая исключает соответственно расположенную область в ранее реконструированном СТВ, где позиция соответственно расположенной области в ранее реконструированном СТВ имеет такую же относительную позицию, как и текущая область в текущем СТВ, при этом зона поиска находится в текущем изображении; и реконструировать по меньшей мере один отсчет текущего блока согласно вектору блока,

при этом зона поиска включает в себя блоки кодирования, которые реконструированы после соответственно расположенной области и до текущего блока, и

размер текущего СТВ меньше или равен размеру опорной памяти, и, когда размер текущего СТВ равен размеру опорной памяти, ранее реконструированный СТВ соседствует с текущим СТВ слева, позиция соответственно расположенной области смещена на ширину текущего СТВ от позиции текущей области, и блоки кодирования в зоне поиска включают по меньшей мере все оставшиеся области ранее реконструированного СТВ, которые не были исключены из зоны поиска, когда текущая область не является последней областью, которая должна быть реконструирована в текущем СТВ,

причем размер текущего СТВ и ранее реконструированного СТВ равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 64 × 64 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 64 × 64 отсчета, позиция соответственно расположенной области смещена на 128 отсчетов от позиции текущей области, причем текущая область является одной из четырех областей в текущем СТВ, а соответственно расположенная область является одной из четырех областей в ранее реконструированном СТВ, и

четыре области в текущем СТВ включают в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область;

четыре области в ранее реконструированном СТВ включают в себя верхнюю левую область, верхнюю правую область, нижнюю левую область и нижнюю правую область;

когда текущая область является верхней левой областью текущего СТВ, соответственно расположенная область является верхней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область ранее реконструированного СТВ;

когда текущая область является верхней правой областью текущего СТВ, соответственно расположенная область является верхней правой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область и верхнюю правую область ранее реконструированного СТВ;

когда текущая область является нижней левой областью текущего СТВ, соответственно расположенная область является нижней левой областью ранее реконструированного СТВ, и зона поиска исключает верхнюю левую область, верхнюю правую область и нижнюю левую область ранее реконструированного СТВ; и

когда текущая область является нижней правой областью текущего СТВ, соответственно расположенная область является нижней правой областью ранее реконструированного СТВ, и зона поиска исключает ранее реконструированный СТВ.

7. Устройство по п. 6, в котором, когда размер текущего СТВ меньше размера опорной памяти, позиция соответственно расположенной области смещена на расстояние, кратное ширине текущего СТВ, от позиции текущей области, и блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ, ранее реконструированного СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ.

8. Устройство по п. 7, в котором размер текущего СТВ равен 64 × 64 отсчета, размер опорной памяти равен 128 × 128 отсчетов, текущий СТВ включает в себя четыре области размером 32 × 32 отсчета, ранее реконструированный СТВ включает в себя четыре области размером 32 × 32 отсчета, и позиция соответственно расположенной области смещена на 256 отсчетов от позиции текущей области.

9. Устройство по п. 7 или 8, в котором блоки кодирования в зоне поиска находятся по меньшей мере в одном из текущего СТВ и одного или более реконструированного СТВ между текущим СТВ и ранее реконструированным СТВ.

10. Устройство по п. 7 или 8, в котором зона поиска исключает ранее реконструированный СТВ, который смещен на N значений ширины текущего СТВ от текущего СТВ, где N является отношением размера опорной памяти к размеру текущего СТВ.

11. Компьютерно-считываемый носитель, на котором хранятся инструкции, которые, при выполнении компьютером для видеодекодирования, предписывают компьютеру осуществлять способ по любому из пп. 1-5.