МЕТОД ДВУНАПРАВЛЕННОГО ОПТИЧЕСКОГО ПОТОКА С УПРОЩЕННЫМ ВЫВЕДЕНИЕМ ГРАДИЕНТА Российский патент 2024 года по МПК H04N19/103 H04N19/139 

Перекрестная ссылка

Настоящая заявка испрашивает приоритет по предварительной заявке США № 62/653 674, поданной 6 апреля 2018 г., содержание которой полностью включено в настоящий документ посредством ссылки.

Предпосылки создания изобретения

Системы видеокодирования широко применяются для сжатия цифровых видеосигналов с целью снижения потребностей в хранении и/или ширины полосы пропускания таких сигналов. Среди различных типов систем видеокодирования, таких как системы на основе блоков, на основе вейвлетов и системы на основе объектов, широко используются и развертываются гибридные системы видеокодирования на основе блоков. Примеры систем видеокодирования на основе блоков могут включать в себя международные стандарты видеокодирования, такие как MPEG1/2/4 часть 2, H.264/MPEG-4 часть 10, AVC, VC-1 и высокоэффективное видеокодирование (HEVC).

Изложение сущности изобретения

Устройство видеокодирования может быть выполнено с возможностью осуществления уточнения направленного двунаправленного оптического потока (BDOF) в единице кодирования (CU). Устройство видеокодирования может включать в себя кодировщик и/или декодер. Видеокодирование может относиться к кодированию и/или декодированию. Устройство может определять направление, в котором выполняют уточнение направленного BDOF. Устройство может вычислять разность градиентов вертикального направления и разницу градиентов горизонтального направления для CU. Разность градиентов в вертикальном направлении может указывать на разность между вертикальными градиентами в первом эталонном изображении и вертикальными градиентами для второго эталонного изображения. Разность градиентов в горизонтальном направлении может указывать на разность между горизонтальными градиентами в первом эталонном изображении и горизонтальными градиентами для второго эталонного изображения. Устройство видеокодирования может определять направление, в котором выполняется уточнение направленного BDOF на основе разности градиентов вертикального направления и разности градиентов горизонтального направления. Устройство видеокодирования может выполнять уточнение направленного BDOF в определенном направлении. Например, уточнение направленного BDOF может включать в себя выполнение уточнения BDOF в вертикальном направлении или уточнение направленного BDOF в горизонтальном направлении.

Устройство видеокодирования может быть выполнено с возможностью определения направления, в котором выполняется уточнение направленного BDOF. Как описано в настоящем документе, направление, в котором выполняется уточнение направленного BDOF, может быть основано на разности градиентов вертикального направления, связанного с CU, и разности градиентов горизонтального направления, связанного с CU. Устройство видеокодирования может сравнивать разности градиентов с пороговым значением (например, первым пороговым значением и/или вторым пороговым значением). Устройство видеокодирования может выполнять уточнение направленного BDOF в вертикальном направлении, когда разность градиентов в вертикальном направлении, связанная с CU, превышает первое пороговое значение. Устройство видеокодирования может выполнять уточнение направленного BDOF в горизонтальном направлении, когда разность градиентов в горизонтальном направлении, связанная с CU, превышает второе пороговое значение. Первое пороговое значение и второе пороговое значение могут быть переменными, статическими (например, заранее настроенными) или полустатическими. Например, первое пороговое значение и второе пороговое значение могут быть переменными, а первое пороговое значение может представлять собой или может включать в себя разность градиентов горизонтального направления, а второе пороговое значение может представлять собой или включать в себя разность градиентов вертикального направления.

Устройство видеокодирования может быть выполнено с возможностью определения необходимости выполнения уточнения BDOF на CU, что может включать в себя: выполнение уточнения направленного BDOF в вертикальном направлении, выполнение уточнения направленного BDOF в горизонтальном направлении или выполнение уточнения BDOF в горизонтальном направлении и в вертикальном направлении. Устройство видеокодирования может быть выполнено с возможностью определения необходимости выполнения уточнения BDOF в CU на основании одной или более характеристик, связанных с CU. Устройство видеокодирования может определять необходимость выполнения уточнения BDOF на основании режима интеркодирования, связанного с CU, и/или размера, связанного с CU. Например, устройство видеокодирования может определять пропуск уточнения BDOF, если режим интеркодирования, связанный с CU, поддерживает прогнозирование под-CU.

Устройство видеокодирования может быть выполнено с возможностью осуществления уточнения BDOF в CU. Устройство видеокодирования может идентифицировать вектор движения, связанный с эталонной CU указанной CU. Вектор движения может включать в себя одну или более составляющих движения (например, первую составляющую движения и вторую составляющую движения). Компонент движения может включать в себя целочисленный компонент движения или нецелочисленный компонент движения (например, дольный). Например, компонент движения может включать в себя нецелочисленный компонент движения. Устройство может вычислять направленный градиент, связанный с CU, например, посредством применения градиентного фильтра к эталонным семплам в целочисленных позициях эталонной CU. Если, например, компонент движения включает в себя нецелочисленный компонент движения, устройство видеокодирования может определять целочисленное положение, соответствующее нецелочисленному компоненту движения. Устройство видеокодирования может применять градиентный фильтр к эталонным семплам в целочисленных позициях эталонной CU в первом направлении. Например, один или более эталонный(-ых) семпл(-ов) в целочисленных позициях, связанных с эталонным CU, могут аппроксимировать их соответствующий(-ие) семпл(-ы) в дольной позиции в эталонной CU. Направленный градиент, связанный с CU, может использоваться для вычисления разности градиентов вертикального направления для CU или разности градиентов горизонтального направления, связанной с CU.

Краткое описание графических материалов

На фиг. 1A представлена схема системы, иллюстрирующая пример системы связи, в которой могут быть реализованы один или более описанных вариантов осуществления.

На фиг. 1B представлена схема системы, иллюстрирующая пример модуля беспроводной передачи/приема (WTRU), который может быть использован в системе связи, показанной на фиг. 1A, в соответствии с вариантом осуществления.

На фиг. 1C представлена схема системы, иллюстрирующая пример сети радиодоступа (RAN) и пример опорной сети (CN), которые могут быть использованы в системе связи, показанной на фиг. 1A, в соответствии с вариантом осуществления.

На фиг. 1D представлена схема системы, иллюстрирующая дополнительный пример RAN и дополнительный пример CN, которые могут быть использованы в системе связи, показанной на фиг. 1A, в соответствии с вариантом осуществления.

На фиг. 2 представлена блок-схема видеокодера.

На фиг. 3 представлена блок-схема видеодекодера.

На фиг. 4 показан пример, связанный двунаправленным оптическим потоком (BDOF).

На фиг. 5A и 5B показан пример процесса выведения градиента в BDOF с точностью движения 1/16 пэл.

На фиг. 6A показан пример доступа к памяти BDOF без ограничения расширения блока.

На фиг. 6B показан пример доступа к памяти BDOF с ограничением расширения блока.

На фиг. 7 показан пример усовершенствованного временного прогнозирования вектора движения (ATMVP).

На фиг. 8 показан пример пространственно-временного прогнозирования вектора движения (STMVP).

На фиг. 9A показан пример преобразования с повышением частоты кадров с сопоставлением шаблонов (FRUC).

На фиг. 9B представлена схема FRUC с двусторонним сопоставлением.

На фиг. 10A представлена схема аффинного режима и упрощенной аффинной модели.

На фиг. 10B представлена схема аффинного режима и выведение движения на уровне подблока для аффинных блоков.

На фиг. 11 показана схема уточнения BDOF для единицы прогнозирования (PU).

На фиг. 12 показана схема уточнения направленного BDOF.

Подробное описание

На фиг. 1A представлена схема, иллюстрирующая пример системы 100 связи, в которой могут быть реализованы один или более описанных вариантов осуществления. Система 100 связи может представлять собой систему множественного доступа, от которой множество пользователей беспроводной связи получают содержимое, такое как голосовая информация, данные, видео, обмен сообщениями, широковещание и т.п. Система 100 связи может быть выполнена с возможностью предоставления множеству пользователей беспроводной связи доступа к такому содержимому посредством совместного использования системных ресурсов, включая ширину полосы пропускания беспроводного соединения. Например, в системах 100 связи может быть использован один или более способов доступа к каналу, таких как множественный доступ с кодовым разделением каналов (CDMA), множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с ортогональным частотным разделением каналов (OFDMA), FDMA с одной несущей (SC-FDMA), расширенное OFDM с безызбыточным расширенным дискретным преобразованием Фурье (DFT) с синхропакетом (ZT UW DTS-s OFDM), OFDM с синхропакетом (UW-OFDM), OFDM с фильтрацией ресурсного блока, блок фильтров с множеством несущих (FBMC) и т.п.

Как показано на фиг. 1A, система 100 связи может включать в себя модули 102a, 102b, 102c, 102d беспроводной передачи/приема (WTRU), RAN 104/113, CN 106/115, коммутируемую телефонную сеть 108 общего пользования (PSTN), сеть Интернет 110 и другие сети 112, хотя следует понимать, что в описанных вариантах осуществления предполагается возможность применения любого количества WTRU, базовых станций, сетей и/или элементов сети. Каждый из модулей WTRU 102a, 102b, 102c, 102d может представлять собой устройство любого типа, выполненное с возможностью функционирования и/или взаимодействия в среде беспроводной связи. Например, модули WTRU 102a, 102b, 102c, 102d, любой из которых может называться станцией и/или STA, могут быть выполнены с возможностью передачи и/или приема радиосигналов и могут включать в себя оборудование пользователя (UE), мобильную станцию, стационарный или мобильный абонентский модуль, абонентский модуль, пейджер, сотовый телефон, карманный персональный компьютер (PDA), смартфон, ноутбук, нетбук, персональный компьютер, беспроводной датчик, точку доступа или устройство Mi-Fi, устройство Интернета физических объектов (IoT), часы или другие носимые устройства, устанавливаемый на голове дисплей (HMD), транспортное средство, беспилотный радиоуправляемый летательный аппарат, медицинское устройство и приложения (например, применяемые в дистанционной хирургии), промышленное устройство и приложения (например, робот и/или другие беспроводные устройства, работающие в условиях промышленной и/или автоматизированной технологической цепочки), устройство, относящееся к бытовой электронике, устройство, работающее в коммерческой и/или промышленной беспроводной сети, и т.п. Любой из модулей WTRU 102a, 102b, 102c и 102d можно взаимозаменяемо называть UE.

Системы 100 связи могут также включать в себя базовую станцию 114a и/или базовую станцию 114b. Каждая из базовых станций 114a, 114b может представлять собой устройство любого типа, выполненное с возможностью беспроводного взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d для облегчения доступа к одной или более сетям связи, таким как CN 106/115, сеть Интернет 110 и/или другие сети 112. В качестве примера базовые станции 114a, 114b могут представлять собой базовые приемопередающие станции (BTS), станции Node-B, станции eNode B, станции Home Node B, станции Home eNode B, базовую станцию следующего поколения (gNB), NodeB на основании NR, контроллер пункта связи, точку доступа (AP), беспроводной маршрутизатор и т.п. Хотя каждая из базовых станций 114a, 114b показана как отдельный элемент, следует понимать, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или элементов сети.

Базовая станция 114a может быть частью RAN 104/113, которая может также включать в себя другие базовые станции и/или элементы сети (не показаны), такие как контроллер базовой станции (BSC), контроллер радиосети (RNC), ретрансляционные узлы и т.п. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема радиосигналов на одной или более частотах несущих, которые могут называться сотой (не показана). Эти частоты могут относиться к лицензированному спектру, нелицензированному спектру или к комбинации лицензированного и нелицензированного спектров. Сота может обеспечивать покрытие для беспроводного сервиса в конкретной географической зоне, которая может быть относительно фиксированной или которая может изменяться с течением времени. Сота может быть дополнительно разделена на секторы соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления базовая станция 114a может включать три приемопередатчика, например, один для каждого сектора соты. В варианте осуществления в базовой станции 114a может быть использована технология «множественного входа — множественного выхода» (MIMO) и может быть задействовано множество приемопередатчиков для каждого сектора соты. Например, для передачи и/или приема сигналов в требуемых пространственных направлениях можно использовать формирование лучей.

Базовые станции 114a, 114b могут обмениваться данными с одним или более из WTRU 102a, 102b, 102c, 102d посредством радиоинтерфейса 116, который может представлять собой любую подходящую систему беспроводной связи (например, для передачи сигналов в радиочастотном (РЧ), микроволновом спектре, спектре сантиметровых волн, спектре микрометровых волн, инфракрасном (ИК), ультрафиолетовом (УФ) спектре, спектре видимого света и т.д.). Радиоинтерфейс 116 может быть установлен с использованием любой подходящей технологии радиодоступа (RAT).

Более конкретно, как указано выше, система 100 связи может представлять собой систему множественного доступа, и в ней может быть использована одна или более схем доступа к каналу, например CDMA, TDMA, FDMA, OFDMA, SC-FDMA и т.п. Например, в базовой станции 114a в RAN 104/113 и модулях WTRU 102a, 102b, 102c может быть реализована технология радиосвязи, такая как универсальный наземный доступ (UTRA) для универсальной системы мобильной связи (UMTS), в которой может быть установлен радиоинтерфейс 115/116/117 с использованием широкополосного CDMA (WCDMA). Технология широкополосного множественного доступа с кодовым разделением каналов (WCDMA) может включать в себя протоколы связи, такие как высокоскоростной пакетный доступ (HSPA) и/или усовершенствованный HSPA (HSPA+). Протокол HSPA может включать высокоскоростной пакетный доступ по нисходящей (DL) линии связи (HSDPA) и/или высокоскоростной пакетный доступ по UL (HSUPA).

В варианте осуществления в базовой станции 114a и модулях WTRU 102a, 102b, 102c может быть реализована такая технология радиосвязи, как сеть наземного радиодоступа UMTS последующего поколения (E-UTRA), которая может устанавливать радиоинтерфейс 116 с использованием стандарта долгосрочного развития сетей связи (LTE), и/или LTE-Advanced (LTE-A), и/или LTE-Advanced Pro (LTE-A Pro).

В варианте осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как новая технология радиодоступа (NR Radio Access), которая может устанавливать радиоинтерфейс 116 с использованием технологии New Radio (NR).

В варианте осуществления в базовой станции 114a и модулях WTRU 102a, 102b, 102c может быть реализовано множество технологий радиодоступа. Например, в совокупности базовой станции 114a и модулей WTRU 102a, 102b, 102c может быть реализован радиодоступ LTE и радиодоступ NR, например, с помощью принципов двусторонней связи (DC). Таким образом, радиоинтерфейс, используемый WTRU 102a, 102b, 102c, может характеризоваться применением множества типов технологий радиодоступа и/или передачами, отправляемыми на базовые станции / с базовых станций, относящихся к множеству типов (например, eNB и gNB).

В других вариантах осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологии радиосвязи, такие как IEEE 802.11 (т.е. Wireless Fidelity (WiFi)), IEEE 802.16 (т.е. глобальная совместимость для микроволнового доступа (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, временный стандарт 2000 (IS-2000), временный стандарт 95 (IS-95), временный стандарт 856 (IS-856), глобальная система мобильной связи (GSM), развитие стандарта GSM с увеличенной скоростью передачи данных (EDGE), GSM EDGE (GERAN) и т.п.

Базовая станция 114b, показанная на фиг. 1A, может представлять собой, например, беспроводной маршрутизатор, станцию Home Node B, станцию Home eNode B или точку доступа, и в ней может быть использована любая подходящая RAT для облегчения беспроводной связи в локализованной зоне, такой как коммерческое предприятие, жилое помещение, транспортное средство, учебное заведение, промышленный объект, воздушный коридор (например, для использования беспилотными летательными аппаратами), проезжая часть и т.п. В одном варианте осуществления в базовой станции 114b и модулях WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.11, для создания беспроводной локальной сети (WLAN). В варианте осуществления в базовой станции 114b и модулях WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.15, для создания беспроводной персональной сети (WPAN). В еще одном варианте осуществления в базовой станции 114b и модулях WTRU 102c, 102d может быть использована RAT на основании сот (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR и т.д.) для создания пикосоты или фемтосоты. Как показано на фиг. 1A, базовая станция 114b может иметь прямое соединение с сетью Интернет 110. Таким образом, для базовой станции 114b может не требоваться доступ к сети Интернет 110 посредством CN 106/115.

RAN 104/113 может обмениваться данными с CN 106/115, которая может представлять собой сеть любого типа, выполненную с возможностью предоставления услуг передачи голосовой информации, данных, приложений и/или голосовой связи по протоколу (VoIP) Интернета одному или более из модулей WTRU 102a, 102b, 102c, 102d. К данным могут быть предъявлены различные требования по качеству обслуживания (QoS), например различные требования по производительности, требования к задержке, требования к отказоустойчивости, требования к надежности, требования к скорости передачи данных, требования к мобильности и т.п. В сети CN 106/115 может быть предоставлено управление вызовами, услуги биллинга, услуги мобильной связи на основании местоположения, предварительно оплаченные вызовы, возможность связи с сетью Интернет, распределение видеосигналов и т.п. и/или выполнены функции высокоуровневой защиты, такие как аутентификация пользователей. Хотя на фиг. 1A это не показано, следует понимать, что RAN 104/113 и/или CN 106/115 могут прямо или косвенно обмениваться данными с другими RAN, в которых использована такая же RAT, что и RAN 104/113, или другая RAT. Например, в дополнение к соединению с RAN 104/113, в которой может быть использована технология радиосвязи NR, CN 106/115 может также обмениваться данными с другой RAN (не показана), использующей технологию радиосвязи GSM, UMTS, CDMA 2000, WiMAX, E-UTRA или WiFi.

CN 106/115 может также выступать в качестве шлюза для модулей WTRU 102a, 102b, 102c, 102d для обеспечения доступа к сети PSTN 108, сети Интернет 110 и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют традиционные услуги телефонной связи (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которые используют распространенные протоколы связи, такие как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP) и/или протокол Интернета (IP) в наборе протоколов Интернета TCP/IP. Сети 112 могут включать в себя проводные и/или беспроводные сети связи, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. Например, сети 112 могут включать в себя другую CN, соединенную с одной или более RAN, в которых может быть использована такая же RAT, как и RAN 104/113, или другая RAT.

Некоторые или все WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности (например, WTRU 102a, 102b, 102c, 102d могут включать в себя множество приемопередатчиков для взаимодействия с различными беспроводными сетями по различным беспроводным линиям связи). Например, WTRU 102c, показанный на фиг. 1A, может быть выполнен с возможностью обмена данными с базовой станцией 114a, которая может использовать технологию радиосвязи на основе сот, а также с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

На фиг. 1B представлена схема системы, иллюстрирующая пример WTRU 102. Как показано на фиг. 1B, WTRU 102 может включать в себя, помимо прочего, процессор 118, приемопередатчик 120, передающий/приемный элемент 122, динамик/микрофон 124, клавиатуру 126, дисплей / сенсорную панель 128, несъемное запоминающее устройство 130, съемное запоминающее устройство 132, источник 134 питания, набор 136 микросхем глобальной системы определения местоположения (GPS) и/или другие периферийные устройства 138. Следует понимать, что WTRU 102 может включать в себя любую подкомбинацию вышеперечисленных элементов и при этом все еще соответствовать варианту осуществления.

Процессор 118 может представлять собой процессор общего назначения, процессор специального назначения, традиционный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные схемы (ASIC), схемы программируемых пользователем вентильных матриц (FPGA), интегральную микросхему (IC) любого другого типа, конечный автомат и т.п. Процессор 118 может выполнять кодирование сигналов, обработку данных, управление мощностью, обработку ввода/вывода и/или любые другие функциональные возможности, с помощью которых WTRU 102 работает в среде беспроводной связи. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть соединен с передающим/приемным элементом 122. Хотя на фиг. 1B процессор 118 и приемопередатчик 120 показаны в виде отдельных компонентов, следует понимать, что процессор 118 и приемопередатчик 120 могут быть совместно встроены в электронный блок или микросхему.

Передающий/приемный элемент 122 может быть выполнен с возможностью передачи сигналов на базовую станцию (например, базовую станцию 114a) по радиоинтерфейсу 116 или приема сигналов от нее. Например, в одном варианте осуществления передающий/приемный элемент 122 может представлять собой антенну, выполненную с возможностью передачи и/или приема РЧ-сигналов. В варианте осуществления передающий/приемный элемент 122 может представлять собой излучатель/детектор, выполненный с возможностью передачи и/или приема, например, сигналов в ИК-спектре, УФ-спектре или спектре видимого света. В еще одном варианте осуществления передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема сигналов как в РЧ-спектре, так и в спектре видимого света. Следует понимать, что передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема любой комбинации радиосигналов.

Хотя на фиг. 1B передающий/приемный элемент 122 показан в виде одного элемента, WTRU 102 может включать в себя любое количество передающих/приемных элементов 122. Более конкретно, в WTRU 102 может быть использована технология MIMO. Таким образом, в одном варианте осуществления WTRU 102 может включать в себя два или более передающих/приемных элементов 122 (например, множество антенн) для передачи и приема радиосигналов по радиоинтерфейсу 116.

Приемопередатчик 120 может быть выполнен с возможностью модуляции сигналов, которые подлежат передаче посредством передающего/приемного элемента 122, а также демодуляции сигналов, которые принимают посредством передающего/приемного элемента 122. Как указано выше, WTRU 102 может иметь многорежимные возможности. Таким образом, приемопередатчик 120 может включать в себя множество приемопередатчиков, с помощью которых WTRU 102 получает возможность взаимодействия посредством множества RAT, таких как, например, NR и IEEE 802.11.

Процессор 118 WTRU 102 может быть соединен с динамиком/микрофоном 124, клавиатурой 126 и/или дисплеем / сенсорной панелью 128 (например, жидкокристаллическим дисплеем (LCD) или дисплеем на органических светодиодах (OLED)) и может принимать от них данные, вводимые пользователем. Процессор 118 может также выводить пользовательские данные на динамик/микрофон 124, клавиатуру 126 и/или дисплей / сенсорную панель 128. Кроме того, процессор 118 может иметь доступ к информации с любого подходящего запоминающего устройства, такого как несъемное запоминающее устройство 130 и/или съемное запоминающее устройство 132, и хранить на нем данные. Несъемное запоминающее устройство 130 может включать в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск или запоминающее устройство любого другого типа. Съемное запоминающее устройство 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, безопасную цифровую карту памяти (SD) и т.п. В других вариантах осуществления процессор 118 может осуществлять доступ к информации с запоминающего устройства, которое физически не размещено в WTRU 102, например на сервере или домашнем компьютере (не показано), и хранить на нем данные.

Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью управления питанием и/или распределения питания на другие компоненты в WTRU 102. Источник 134 питания может представлять собой любое подходящее устройство для подачи питания на WTRU 102. Например, источник 134 питания может включать в себя одну или более сухих батарей (например, никель-кадмиевых (NiCd), никель-цинковых (NiZn), никель-металл-гидридных (NiMH), литий-ионных (Li-ion) и т.п.), солнечных элементов, топливных элементов и т.п.

Процессор 118 может также быть соединен с набором микросхем GPS 136, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготы и широты) относительно текущего местоположения WTRU 102. Дополнительно или вместо информации от набора микросхем GPS 136 WTRU 102 может принимать информацию о местоположении по радиоинтерфейсу 116 от базовой станции (например, от базовых станций 114a, 114b) и/или определять местоположение на основании синхронизации сигналов, принимаемых от двух или более соседних базовых станций. Следует понимать, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения и при этом все еще соответствовать варианту осуществления.

Процессор 118 может быть дополнительно соединен с другими периферийными устройствами 138, которые могут включать в себя один или более программных и/или аппаратных модулей, в которых предусмотрены дополнительные признаки, функциональные возможности и/или возможности по установлению проводной или беспроводной связи. Например, периферийные устройства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фото- и видеосъемки), порт универсальной последовательной шины (USB), вибрационное устройство, телевизионный приемопередатчик, беспроводную гарнитуру, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль устройства для воспроизведения видеоигр, Интернет-браузер, устройство виртуальной реальности и/или дополненной реальности (VR/AR), трекер активности и т.п. Периферийные устройства 138 могут включать в себя один или более датчиков, причем датчики могут представлять собой один или более из гироскопа, акселерометра, датчика Холла, магнитометра, датчика ориентации, датчика приближения, датчика температуры, датчика времени; датчика географического положения; высотомера, датчика освещенности, датчика касания, магнитометра, барометра, датчика жеста, биометрического датчика и/или датчика влажности.

WTRU 102 может включать в себя полнодуплексное радиоустройство, для которого передача и прием некоторых или всех сигналов, например, связанных с конкретными подкадрами как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема) могут быть осуществлены совместно и/или одновременно. Полнодуплексное радиоустройство может включать в себя блок управления помехами для снижения уровня и/или по существу устранения собственных помех с помощью любого аппаратного обеспечения (например, дросселя) или обработки сигнала с помощью процессора (например, отдельного процессора (не показан) или процессора 118). В варианте осуществления WTRU 102 может включать в себя полудуплексное радиоустройство для передачи и приема некоторых или всех сигналов (например, связанных с конкретными подкадрами) как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема).

На фиг. 1C представлена схема системы, иллюстрирующая RAN 104 и CN 106 в соответствии с вариантом осуществления. Как отмечено выше, RAN 104 может использовать технологию радиосвязи E-UTRA для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 104 может также обмениваться данными с CN 106.

RAN 104 может включать в себя eNode-B 160a, 160b, 160c, хотя следует понимать, что сеть RAN 104 может включать в себя любое количество станций eNode-B и при этом все еще соответствовать варианту осуществления. Каждая eNode-B 160a, 160b, 160c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления eNode B 160a, 160b, 160c могут реализовывать технологию MIMO. Таким образом, в eNode-B 160a может, например, быть использовано множество антенн для передачи радиосигналов на WTRU 102a и/или приема от него радиосигналов.

Каждая eNode-B 160a, 160b, 160c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсами, решений относительно передачи обслуживания, диспетчеризации пользователей в UL и/или DL и т.п. Как показано на фиг. 1C, eNode-B 160a, 160b, 160c могут обмениваться данными друг с другом посредством интерфейса X2.

CN 106, показанная на фиг. 1C, может включать в себя объект 162 управления мобильностью (MME), обслуживающий шлюз (SGW) 164 и шлюз 166 (или PGW) сети с пакетной передачей данных (PDN). Хотя каждый из вышеперечисленных элементов показан как часть CN 106, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставленным им для использования.

MME 162 может быть подключен к каждой eNode-B 162a, 162b, 162c в RAN 104 посредством интерфейса S1 и может выступать в качестве узла управления. Например, MME 162 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию канала, выбор конкретного обслуживающего шлюза во время начального соединения WTRU 102a, 102b, 102c и т.п. MME 162 может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показано), которые используют другие технологии радиосвязи, такие как GSM и/или WCDMA.

SGW 164 может быть подключен к каждой станции eNode B 160a, 160b, 160c в RAN 104 посредством интерфейса S1. SGW 164 может по существу направлять и пересылать пакеты пользовательских данных на WTRU 102a, 102b, 102c и от них. SGW 164 может выполнять другие функции, например привязку плоскостей пользователя во время передачи обслуживания между базовыми станциями eNode B, инициирование пейджинга, когда данные DL доступны для WTRU 102a, 102b, 102c, управление и хранение контекста WTRU 102a, 102b, 102c и т.п.

SGW 164 может быть подключен к PGW 166, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP.

CN 106 может облегчать обмен данными с другими сетями. Например, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, для облегчения обмена данными между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. Например, CN 106 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 106 и PSTN 108, или может обмениваться данными с ним. Кроме того, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования.

Хотя WTRU описан на фиг. 1A–1D как беспроводной терминал, предполагается, что в определенных типовых вариантах осуществления с таким терминалом может быть использован (например, временно или постоянно) проводной интерфейс связи с сетью связи.

В типовых вариантах осуществления другая сеть 112 может представлять собой WLAN.

WLAN в режиме базового набора служб (BSS) инфраструктуры может иметь точку доступа (АР) для BSS и одну или более станций (STA), связанных с АР. АР может иметь доступ к системе распределения (DS) или интерфейс с ней или же осуществлять связь по проводной/беспроводной сети другого типа, которая переносит трафик в BSS и/или вне BSS. Трафик на STA, образованный вне BSS, может поступать через AP и может быть доставлен на STA. Трафик, исходящий от STA к получателям вне BSS, может быть отправлен на АР для доставки соответствующим получателям. Трафик между STA в пределах BSS может быть отправлен через АР, например, если STA-источник может отправлять трафик на АР, а АР может доставлять трафик STA-получателю. Трафик между STA в пределах BSS можно рассматривать и/или упоминать в качестве однорангового трафика. Одноранговый трафик может быть передан между (например, непосредственно между) STA-источником и STA-получателем при установлении прямой линии связи (DLS). В определенных типовых вариантах осуществления DLS может использовать DLS 802.11e или туннелированное DLS 802.11z (TDLS). WLAN с использованием независимого BSS (IBSS) режима может не иметь АР, а STA (например, все STA) в пределах или с использованием IBSS могут осуществлять связь непосредственно друг с другом. В настоящем документе режим IBSS иногда может упоминаться как режим связи с прямым соединением.

При использовании режима работы инфраструктуры 802.11ac или аналогичного режима работы AP может передавать маяк посредством фиксированного канала, такого как первичный канал. Первичный канал может иметь фиксированную ширину (например, ширину полосы пропускания 20 МГц) или ширину, динамически установленную с помощью сигнализации. Первичный канал может представлять собой рабочий канал BSS и может быть использован STA для установления соединения с АР. В определенных типовых вариантах осуществления может быть реализован множественный доступ с контролем несущей и предотвращением коллизий (CSMA/CA), например, в системах 802.11. STA (например, каждая STA), включая АР, могут обнаруживать первичный канал для CSMA/CA. При распознавании/обнаружении и/или определении занятости первичного канала конкретной STA эта конкретная STA может отключаться. Одна STA (например, только одна станция) может осуществлять передачу в любой конкретный момент времени в данном BSS.

Для осуществления связи STA с высокой пропускной способностью (HT) могут использовать канал шириной 40 МГц, например путем объединения первичного канала 20 МГц со смежным или несмежным каналом 20 МГц с образованием канала шириной 40 МГц.

STA со сверхвысокой пропускной способностью (VHT) могут поддерживать каналы шириной 20 МГц, 40 МГц, 80 МГц и/или 160 МГц. Каналы 40 МГц и/или 80 МГц могут быть образованы путем объединения сплошных каналов 20 МГц. Канал 160 МГц может быть образован путем объединения 8 сплошных каналов 20 МГц или путем объединения двух несплошных каналов 80 МГц, которые могут называться конфигурацией 80 + 80. Для конфигурации 80 + 80 данные после кодирования канала могут проходить через анализатор сегментов, который может разделять данные на два потока. Обработку в виде обратного быстрого преобразования Фурье (IFFT) и обработку во временной области можно выполнять отдельно для каждого потока. Указанные потоки могут быть сопоставлены с двумя каналами 80 МГц, а данные могут быть переданы передающей STA. В приемнике принимающей STA вышеописанная операция для конфигурации 80 + 80 может быть инвертирована, а объединенные данные могут быть отправлены на устройство управления доступом к среде передачи данных (MAC).

802.11af и 802.11ah поддерживают подрежимы работы 1 ГГц. Значения ширины полосы пропускания канала и несущие уменьшены в 802.11af и 802.11ah по сравнению с используемыми в 802.11n и 802.11ac. 802.11af поддерживает значения ширины полосы пропускания 5 МГц, 10 МГц и 20 МГц в неиспользуемом частотном спектре телевидения (TVWS), а 802.11ah поддерживает значения ширины полосы пропускания 1 МГц, 2 МГц, 4 МГц, 8 МГц и 16 МГц с использованием спектра, отличного от TVWS. Согласно типовому варианту осуществления 802.11ah может поддерживать управление с измерением / межмашинные связи, например устройства MTC в макрозоне покрытия. Устройства MTC могут обладать определенными возможностями, например ограниченными возможностями, включая поддержку (например, поддержку только) определенных и/или ограниченных значений ширины полосы пропускания. Устройства МТС могут включать в себя батарею, имеющую срок службы батареи, превышающий пороговое значение (например, для обеспечения очень длительного срока службы батареи).

Системы WLAN, которые могут поддерживать множество каналов и значений ширины полосы пропускания канала, такие как 802.11n, 802.11ac, 802.11af и 802.11ah, включают в себя канал, который может быть назначен в качестве первичного канала. Первичный канал может иметь ширину полосы пропускания, равную наибольшей общей рабочей ширине полосы пропускания, поддерживаемой всеми STA в BSS. Ширина полосы пропускания первичного канала может быть установлена и/или ограничена STA из числа всех STA, работающих в BSS, которая поддерживает режим работы с наименьшей шириной полосы пропускания. В примере 802.11ah первичный канал может иметь ширину 1 МГц для STA (например, устройств типа MTC), которые поддерживают (например, поддерживают только) режим 1 МГц, даже если AP и другие STA в BSS поддерживают 2 МГц, 4 МГц, 8 МГц, 16 МГц и/или режимы работы с другими значениями ширины полосы пропускания канала. Параметры обнаружения несущей и/или вектора выделения сети (NAV) могут зависеть от состояния первичного канала. Если первичный канал занят, например, из-за STA (в которой поддерживается только режим работы 1 МГц), осуществляющей передачу на AP, все доступные полосы частот могут считаться занятыми, даже если большинство полос частот все еще не заняты и могут быть доступными.

В Соединенных Штатах доступные полосы частот, которые могут быть использованы 802.11ah, находятся в диапазоне от 902 МГц до 928 МГц. Доступные полосы частот в Корее — от 917,5 МГц до 923,5 МГц. Доступные полосы частот в Японии — от 916,5 МГц до 927,5 МГц. Общая ширина полосы пропускания, доступная для 802.11ah, составляет от 6 МГц до 26 МГц в зависимости от кода страны.

На фиг. 1D представлена схема системы, иллюстрирующая RAN 113 и CN 115 в соответствии с вариантом осуществления. Как отмечено выше, RAN 113 может использовать технологию радиосвязи NR для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 113 может также обмениваться данными с CN 115.

RAN 113 может включать в себя gNB 180a, 180b, 180c, хотя следует понимать, что сеть RAN 113 может включать в себя любое количество станций gNB и при этом все еще соответствовать варианту осуществления. Каждая gNB 180a, 180b, 180c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию MIMO. Например, gNB 180a, 108b могут использовать формирование лучей для передачи сигналов и/или приема сигналов от gNB 180a, 180b, 180c. Таким образом, gNB 180a, например, может использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема от него радиосигналов. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию агрегирования несущих. Например, gNB 180a может передавать на WTRU 102a множество несущих составляющих (не показаны). Подмножество этих несущих составляющих может относиться к нелицензированному спектру, тогда как остальные несущие составляющие могут относиться к лицензированному спектру. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию многоточечного согласования (CoMP). Например, WTRU 102a может принимать согласованные передачи от gNB 180a и gNB 180b (и/или gNB 180c).

WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием передач, связанных с масштабируемой численной величиной. Например, разнос символов OFDM и/или разнос поднесущих OFDM может быть различным для разных передач, разных сот и/или разных участков спектра беспроводной передачи. WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием подкадра или временных интервалов передачи (TTI) с различной или масштабируемой длительностью (например, содержащих различное количество символов OFDM и/или имеющих постоянные различные длительности абсолютного значения времени).

gNB 180a, 180b, 180c могут быть выполнены с возможностью обмена данными с WTRU 102a, 102b, 102c в автономной конфигурации и/или в неавтономной конфигурации. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c без одновременного доступа к другим RAN (например, таким как eNode-B 160a, 160b, 160c). В автономной конфигурации WTRU 102a, 102b, 102c могут использовать одну или более gNB 180a, 180b, 180c в качестве опорной точки для мобильности. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием сигналов в нелицензированной полосе. В неавтономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными / устанавливать соединение с gNB 180a, 180b, 180c, одновременно обмениваясь данными / устанавливая соединение с другой RAN, такой как eNode-B 160a, 160b, 160c. Например, WTRU 102a, 102b, 102c могут реализовывать принципы двойного соединения (DC) для по существу одновременного обмена данными с одной или более gNB 180a, 180b, 180c и одной или более eNode-B 160a, 160b, 160c. В неавтономной конфигурации eNode-B 160a, 160b, 160c могут выступать в качестве опорной точки для мобильности для WTRU 102a, 102b, 102c, а gNB 180a, 180b, 180c могут обеспечивать дополнительное покрытие и/или пропускную способность для обслуживания WTRU 102a, 102b, 102с.

Каждая из gNB 180a, 180b, 180c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, диспетчеризации пользователей в UL и/или DL, поддержки сегментирования сети, двойного подключения, взаимодействия между NR и E-UTRA, маршрутизации данных плоскости пользователя в функциональный блок 184a, 184b плоскости пользователя (UPF), маршрутизации информации плоскости управления в функциональный блок 182a, 182b управления доступом и мобильностью (AMF) и т.п. Как показано на фиг. 1D, gNB 180a, 180b, 180c могут обмениваться данными друг с другом посредством интерфейса Xn.

CN 115, показанная на фиг. 1D, может включать в себя по меньшей мере один AMF 182a, 182b, по меньшей мере один UPF 184a, 184b, по меньшей мере один функциональный блок 183a, 183b управления сеансом (SMF) и, возможно, сеть 185a, 185b передачи данных (DN). Хотя каждый из вышеперечисленных элементов показан как часть CN 115, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставленным им для использования.

AMF 182a, 182b может быть подключен к одной или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N2 и может выступать в качестве узла управления. Например, AMF 182a, 182b может отвечать за аутентификацию пользователей модулей WTRU 102a, 102b, 102c, поддержку сегментирования сети (например, обработку различных сеансов PDU с различными требованиями), выбор конкретного SMF 183a, 183b, управление зоной регистрации, прекращение сигнализации NAS, управление мобильностью и т.п. Сегментирование сети может быть использовано в AMF 182a, 182b при настройке поддержки CN для WTRU 102a, 102b, 102c на основании типов сервисов, используемых WTRU 102a, 102b, 102c. Например, различные сетевые срезы могут быть установлены для разных вариантов использования, например службы, основанные на связи повышенной надежности с низкой латентностью (URLLC), службы, основанные на доступе к расширенной широкополосной сети мобильной связи (eMBB), службы для доступа к межмашинной связи (MTC) и/или т.п. AMF 162 может предоставлять функцию плоскости управления для переключения между RAN 113 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как LTE, LTE-A, LTE-A Pro, и/или технологии доступа, отличные от 3GPP, например WiFi.

SMF 183a, 183b может быть подключен к AMF 182a, 182b в CN 115 по интерфейсу N11. SMF 183a, 183b может также быть подключен к UPF 184a, 184b в CN 115 по интерфейсу N4. SMF 183a, 183b может выбирать UPF 184a, 184b и управлять им, а также конфигурировать маршрутизацию трафика с помощью UPF 184a, 184b. SMF 183a, 183b может выполнять другие функции, такие как управление IP-адресом UE и его выделение, управление сеансами PDU, управление реализацией политики и QoS, предоставление уведомлений о данных нисходящей линии связи и т.п. Тип сеанса PDU может быть основан на IP, не основан на IP, основан на Ethernet и т.п.

UPF 184a, 184b могут быть присоединены к одной или более gNB 180a, 180b, 180c в RAN 113 посредством интерфейса N3, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP. UPF 184, 184b может выполнять другие функции, такие как маршрутизация и передача пакетов, применение политик в плоскости пользователя, поддержка многоканальных сеансов PDU, обработка QoS в плоскости пользователя, буферизация пакетов нисходящей линии связи, привязка для обеспечения мобильности и т.п.

CN 115 может облегчать обмен данными с другими сетями. Например, CN 115 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 115 и PSTN 108, или может обмениваться данными с ним. Кроме того, CN 115 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. В одном варианте осуществления модули WTRU 102a, 102b, 102c могут быть подключены к локальной сети передачи данных (DN) 185a, 185b через UPF 184a, 184b посредством интерфейса N3 к UPF 184a, 184b и интерфейса N6 между UPF 184a, 184b и DN 185a, 185b.

С учетом фиг. 1A–1D и соответствующих описаний фиг. 1A–1D одна или более или все из функций, описанных в настоящем документе в связи с одним или более из: WTRU 102a–d, базовой станции 114а–b, eNode-B 160a–c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b и/или любого (-ых) другого (-их) устройства (устройств), описанного (-ых) в настоящем документе, могут быть реализованы одним или более устройствами эмуляции (не показаны). Устройства эмуляции могут представлять собой одно или более устройств, выполненных с возможностью эмуляции одной или более функций или всех функций, описанных в настоящем документе. Например, устройства эмуляции могут быть применены для испытания других устройств и/или для моделирования функций сети и/или WTRU.

Устройства эмуляции могут быть выполнены с возможностью осуществления одного или более испытаний других устройств в лабораторной среде и/или в сетевой среде оператора. Например, одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они полностью или частично реализованы и/или развернуты в качестве части проводной и/или беспроводной сети связи, для испытания других устройств в сети связи. Одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они временно реализованы/развернуты в качестве части проводной и/или беспроводной сети связи. Устройство эмуляции может быть непосредственно соединено с другим устройством для испытания и/или выполнения испытания с использованием беспроводной связи посредством канала беспроводной связи.

Одно или более устройств эмуляции могут выполнять одну или более функций, включая все функции, и при этом не быть реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Например, устройства эмуляции могут быть использованы в сценарии испытания в испытательной лаборатории и/или в неразвернутой (например, испытательной) проводной и/или беспроводной сети связи для осуществления испытания одного или более компонентов. Одно или более устройств эмуляции могут представлять собой испытательное оборудование. Для передачи и/или приема данных в устройствах эмуляции можно использовать прямое РЧ-соединение и/или беспроводные связи посредством РЧ-схемы (которая может, например, включать в себя одну или более антенн).

Двунаправленный оптический поток (BDOF) может использоваться, например, для повышения эффективности двунаправленного прогнозирования. BDOF может улучшать гранулярность и/или точность векторов движения, которые используются во время компенсации движения. BDOF может улучшать эффективность кодирования. BDOF может повышать сложность устройства кодирования (например, кодера и/или декодера).

Системы видеокодирования могут применяться для сжатия цифровых видеосигналов с целью снижения потребности в хранении и/или ширины полосы пропускания таких сигналов. Может существовать ряд типов систем видеокодирования, таких как системы на основе блоков, на основе вейвлетов, на основе объектов и т.п. Например, гибридные системы видеокодирования на основе блоков могут широко применяться и развертываться. Примеры систем видеокодирования на основе блоков могут быть совместимы с одним или более международными стандартами видеокодирования, такими как MPEG1/2/4 часть 2, H.264/MPEG-4 часть 10 AVC, VC-1. Примеры систем видеокодирования на основе блоков могут также включать в себя стандарт видеокодирования «высокоэффективное видеокодирование» (HEVC), разработанный JCT-VC (Joint Collaborative Team on Video Coding (объединенной совместной группой по видеокодированию)) ITU-T/SG16/Q.6/VCEG и ISO/IEC/MPEG.

На фиг. 2 проиллюстрирована схема видеокодера на основе блоков, который может быть выполнен на основе гибридной структуры видеокодирования на основе блоков. На фиг. 2 представлена блок-схема системы видеокодирования на основе блоков, которая может представлять собой гибридную систему видеокодирования на основе блоков. Входной видеосигнал 202 может обрабатываться поблочно. Расширенные размеры блоков (которые могут называться «единицей кодирования» или CU) могут использоваться для эффективного сжатия видеосигналов высокого разрешения (например, 1080 пкс. и более). CU может иметь размер до 64x64 пикселей. CU может быть разделена на единицы прогнозирования (PU), для которых могут применяться отдельные прогнозы. Для блока входного видео (MB или CU), например, одного или более входных видеоблоков, может выполняться пространственное прогнозирование (260) и/или временное прогнозирование (262). Пространственное прогнозирование (или «интрапрогнозирование») может использовать пиксели из семплов уже закодированных соседних блоков, которые могут называться эталонными семплами в одном и том же видеоизображении/фрагменте для прогнозирования текущего видеоблока. Пространственное прогнозирование может снижать временную избыточность, которая может быть характерной для видеосигнала. Временное прогнозирование, которое может также называться «интерпрогнозированием» или «прогнозированием с компенсацией движения» может использовать воссозданные пиксели из уже закодированных видеоизображений для прогнозирования текущего видеоблока. Временное прогнозирование может снижать временную избыточность, которая может быть характерной для видеосигнала. Сигнал временного прогнозирования для данного видеоблока может передаваться посредством одного или более векторов движения, которые могут указывать величину и направление движения между текущим блоком и его эталонным блоком. Если поддерживается множество эталонных изображений, индекс эталонного изображения может быть отправлен в видеоблок (например, каждый видеоблок). Индекс эталонного изображения может использоваться для идентификации того, от какого эталонного изображения в хранилище (264) эталонных изображений поступает сигнал временного прогнозирования. После пространственного и/или временного прогнозирования блок (280) принятия решения о режиме в кодере может выбирать режим прогнозирования, например, на основе способа оптимизации зависимости искажений от скорости передачи. Выбранный режим прогнозирования может представлять собой наилучший режим прогнозирования для данных обстоятельств. Блок прогнозирования может вычитаться из текущего видеоблока (216), а остаточное значение прогнозирования может декоррелироваться с использованием блока (204) преобразования и блока (206) квантования. Квантованные остаточные коэффициенты могут обратно квантоваться (210) и обратно преобразовываться (212) для формирования воссозданного остатка, который может добавляться назад к блоку (226) прогнозирования для формирования воссозданного видеоблока. Далее внутрипетлевой фильтр, такой как деблочный фильтр и адаптивный петлевой фильтр, может применяться (266) к воссозданному видеоблоку, например, до того как воссозданный видеоблок будет помещен в хранилище (264) эталонных изображений и использован для кодирования будущих видеоблоков. Для формирования выходного битового видеопотока 220, режим кодирования (например, интер- или интра-), информация о режиме прогнозирования, информация о движении и квантованные остаточные коэффициенты могут отправляться единице (208) энтропийного кодирования для дальнейшего сжатия и упаковки для формирования битового потока.

На фиг. 3 проиллюстрирована блок-схема видеодекодера, который может представлять собой видеодекодер на основе блоков. Битовый видеопоток 302 может распаковываться и энтропийно декодироваться в энтропийном декодировании 308. Информация о режиме кодирования и прогнозирования может отправляться к пространственному прогнозированию 360 (например, интракодированный) и/или к прогнозированию 362 с компенсацией движения (например, интеркодированный) для формирования блока прогнозирования. Остаточные коэффициенты преобразования могут отправляться к обратному квантованию 310 и обратному преобразованию 312 для воссоздания остаточного блока. Блок прогнозирования и остаточный блок могут складываться на 336. Далее восстановленный блок может проходить через внутрипетлевое средство фильтрации, перед этим он может сохраняться в хранилище 354 эталонных изображений. Впоследствии воссозданное видео в хранилище эталонных изображений может отправляться для приведения в действие устройства отображения и может использоваться для прогнозирования будущих видеоблоков.

Как показано на фиг. 2 и 3, последовательности операций кодирования/декодирования могут быть основаны, например, на одном или более из следующего: пространственное прогнозирование (например, интрапрогнозирование); временное прогнозирование (например, интерпрогнозирование); преобразование; квантование; энтропийное кодирование; петлевые фильтры; и/или т.п.

Двунаправленный оптический поток (BDOF) может использоваться для выведения вектора движения. Например, двойное прогнозирование может быть основано на модели оптического потока. Двойное прогнозирование в видеокодировании может включать в себя комбинирование двух блоков временного прогнозирования, которые могут быть получены из воссозданных эталонных изображений. Из-за ограничения компенсации движения (MC) на основе блоков может оставаться небольшое движение, которое может наблюдаться между двумя блоками прогнозирования, что может снижать эффективность прогнозирования с компенсацией движения. BDOF может применяться, например, для компенсации небольшого движения в семплах внутри блока. BDOF может включать в себя применение посемплового уточнения движения. Посемпловое уточнение движения, которое может выполняться в дополнение к прогнозированию с компенсацией движения на основе блоков, например, при использовании двойного прогнозирования. Вектор движения (например, уточненный вектор движения) может выводиться для семплов в блоке. Выведение вектора движения может основываться на модели оптического потока (например, классической модели оптического потока). Например, пусть представляет собой значение семпла в координате (x, y) блока прогнозирования, выведенного из списка эталонных изображений k (k = 0, 1), где и могут включать в себя горизонтальный и вертикальный градиенты семпла соответственно. Параметры уточнения движения для координаты (x, y) могут выводиться с использованием модели оптического потока:

(1)

В случае с комбинацией уравнения (1) оптического потока и интерполяции блоков прогнозирования вдоль траектории движения (например, как показано на фиг. 4), прогнозирование BDOF может быть получено как:

(2)

Согласно (2), и могут включать в себя временные расстояния эталонных изображений Ref₀ и Ref₁, связанных с и , до текущего изображения CurPic, например,

(3)

На фиг. 4 показан пример применения BDOF. На фиг. 4 (MVx0, MVy0) и (MVx1, MVy1) могут обозначать векторы движения на уровне блоков, которые могут использоваться для генерирования двух блоков прогнозирования и . Параметры уточнения движения в местоположении семпла (x, y) могут быть рассчитаны посредством минимизации расстояния Δ между значениями семплов после компенсации уточнения движения (например, A и B на фиг. 4), как показано в виде:

(4)

Регулярность выведенного уточнения движения может сохраняться. Уточнение движения может соответствовать локальной окружающей области с центром в (x, y). При построении BDOF значения могут выводиться путем минимизации Δ внутри окна Ω 5x5 вокруг текущего семпла в (x, y) как:

(5)

BDOF может применяться к блокам двойного прогнозирования. Кодированные блоки двойного прогнозирования могут прогнозироваться двумя или более эталонными блоками из временных соседних изображений. BDOF может активироваться, например, без отправки дополнительной информации от кодировщика декодеру. Например, BDOF может применяться к блокам двунаправленного прогнозирования, которые имеют сигналы прямого и обратного прогнозирования (например, ). Если два блока прогнозирования текущих блоков происходят от одного и того же направления (либо прямого, либо обратного направления, например, ), BDOF может применяться, когда блоки прогнозирования связаны с ненулевыми движениями, например, abs(MV_x0) + abs(MV_y0) ≠ 0 и abs(MV_x1) + abs(MV_y1) ≠ 0, а два вектора движения могут быть пропорциональными временным расстояниям между текущим изображением и эталонными изображениями, например,

(6)

Если два блока прогнозирования текущего блока происходят от одного и того же эталонного изображения (например, ), BDOF может деактивироваться. Когда локальная компенсация освещения (LIC) используется для текущего блока, BDOF может деактивироваться.

Может выполняться процесс выведения градиента. Как показано в (2) и (4), например, возможно, в дополнение к MC на уровне блоков, в BDOF могут выводиться градиенты для семплов блока с компенсацией движения (например, и ), которые могут использоваться для выведения локального уточнения движения и генерирования конечного прогноза в местоположении такого семпла). В примере, горизонтальные и вертикальные градиенты семплов в двух блоках прогнозирования (например, , и , ) могут рассчитываться, например, при генерировании сигналов прогнозирования на основе процессов фильтрации. Например, интерполяция с компенсацией движения может выполняться с использованием сепарабельных 2D-фильтров конечной импульсной характеристики (FIR). Горизонтальные и вертикальные градиенты могут генерироваться одновременно. Входные данные для процесса выведения градиента могут включать в себя эталонные семплы, которые используются для компенсации движения. Входные данные процесса выведения градиента могут включать в себя дольные компоненты (fracX, fracY) входных данных движения (MV_x0/x1, MV_y0/y1). Для выведения градиентного значения в позиции семпла могут применяться два различных фильтра (например, интерполяционный фильтр h_L и градиентный фильтр h_G). Фильтры могут применяться отдельно, например, в разном порядке для каждого направления градиента, который можно рассчитать. Можно применять один или более из следующих вариантов. При выведении горизонтальных градиентов (например, и ), интерполяционный фильтр h_L может применяться вертикально к семплам внутри блока прогнозирования для выведения значений семплов в вертикальных дольных позициях в fracY. Градиентный фильтр h_G может применяться горизонтально к генерируемым вертикальным дольным семплам для расчета горизонтальных градиентных значений на основе значения fracX. Для выведении вертикальных градиентов ( и ), градиентный фильтр h_G может применяться вертикально к семплам прогнозирования для расчета промежуточных вертикальных градиентов, соответствующих fracY, и может сопровождаться горизонтальной интерполяцией промежуточных вертикальных градиентов с использованием интерполяционного фильтра h_L в соответствии со значением fracX. Длина как градиентного фильтра и интерполяционного фильтра может составлять 6 отводов. Для компенсации движения могут использоваться фильтры с 8 отводами. В Таблицах 1 и 2 проиллюстрированы примеры коэффициентов фильтрации, которые могут использоваться для h_G и h_L соответственно, в соответствии с точностью вектора движения на уровне блоков, например, которая может быть до 1/16 пэл.)

Таблица 1. Фильтры, которые могут использоваться для расчета градиента в BDOF

Дольная позиция Градиентный фильтр (h_G) 0 { 8, −39, −3, 46, −17, 5} 1/16 { 8, −32, −13, 50, −18, 5} 1/8 { 7, −27, −20, 54, −19, 5} 3/16 { 6, −21, −29, 57, −18, 5} 1/4 { 4, −17, −36, 60, −15, 4} 5/16 { 3, −9, −44, 61, −15, 4} 3/8 { 1, −4, −48, 61, −13, 3} 7/16 { 0, 1, −54, 60, −9, 2} 1/2 { −1, 4, −57, 57, −4, 1}

Таблица 2. Интерполяционные фильтры, которые могут использоваться для генерирования сигнала прогнозирования в BDOF

Дольная позиция Интерполяционный фильтр (h_L) 0 { 0, 0, 64, 0, 0, 0} 1/16 { 1, −3, 64, 4, −2, 0} 1/8 { 1, −6, 62, 9, −3, 1} 3/16 { 2, −8, 60, 14, −5, 1} 1/4 { 2, −9, 57, 19, −7, 2} 5/16 { 3, −10, 53, 24, −8, 2} 3/8 { 3, −11, 50, 29, −9, 2} 7/16 { 3, −11, 44, 35, −10, 3} 1/2 { 3, −10, 35, 44, −11, 3}

На фиг. 5A и 5B показан пример процесса выведения градиента в BDOF с точностью движения 1/16 пэл. Как показано на фиг. 5A и 5B, процесс выведения градиентов может применяться в BDOF, где значения семплов в целочисленных позициях семплов могут быть показаны посредством заштрихованных квадратов, а значения семплов в дольных позициях семплов могут быть показаны пустыми квадратами. Поскольку точность вектора движения может повышаться до 1/16 пэл, могут быть определены в общей сумме 255 дольных позиций семплов, которые могут быть определены в пределах участка целочисленного семпла на фиг. 5A и 5B. Нижний индекс координаты (x, y) может представлять соответствующую горизонтальную и вертикальную дольную позицию семпла (например, координата (0, 0), которая может соответствовать семплам на целочисленных позициях). Горизонтальные и вертикальные градиентные значения могут рассчитываться в дольной позиции (1, 1) (например, a_1,1). На основании обозначений на фиг. 5A и 5B, для выведения горизонтального градиента, дольные семплы f_0,1, e_0,1, a_0,1, b_0,1, c_0,1 и d_0,1 могут выводиться посредством применения интерполяционного фильтра h_L в вертикальном направлении, например:

(7)

Согласно (7): B может включать в себя битовую глубину входного сигнала, а может включать в себя смещение округления, которое может быть равно:

(8)

Точность f_0,1, e_0,1, a_0,1, b_0,1, c_0,1 и d_0,1 может составлять 14 бит. Горизонтальный градиент a_1,1 может рассчитываться посредством горизонтального применения соответствующего градиентного фильтра h_G к выведенным дольным семплам. Можно применять один или более из следующих вариантов. Неокругленное градиентное значение на промежуточных 20 битах может быть рассчитано, как проиллюстрировано в виде:

(9)

Горизонтальный градиент может рассчитываться посредством сдвига промежуточного градиентного значения в выходную точность в виде:

(10)

Согласно (10): и могут включать в себя функции, которые возвращают знак и абсолютное значение входного сигнала соответственно; а может включать в себя смещение округления, которое может быть рассчитано как .

Ссылаясь теперь на выведенное значение вертикального градиента в (1, 1), могут выводиться промежуточные вертикальные градиентные значения в дольной позиции (0, 1), например:

(11)

Промежуточные градиентные значения могут корректироваться посредством сдвига к 14-битным значениям как:

(12)

Вертикальное градиентное значение в дольной позиции (1, 1) может быть получено посредством применения интерполяционного фильтра h_L к промежуточным градиентным значениям в дольной позиции (0, 1). Можно применять один или более из следующих вариантов. Может рассчитываться неокругленное градиентное значение на 20 битах, при этом неокругленное градиентное значение может корректироваться до выходной битовой глубины посредством операции сдвига, как показано в виде:

(13) (14)

Может быть обеспечено потребление BDOF пропускной способности памяти. Как показано в (5), для выведения локального уточнения движения в позиции, значения семплов и градиентные значения могут рассчитываться для одного или более семплов (например, всех семплов) в окне Ω, окружающем семпл. Размер окна может составлять (2M+1) x (2M+1), где M = 2. Благодаря интерполяционному фильтру и градиентному фильтру, выведение градиента может осуществлять доступ к одному или более (например, дополнительным) эталонным семплам, которые могут находиться в расширенной области текущего блока. Длина T интерполяционного фильтра и градиентного фильтра может составлять 6 и/или соответствующий размер расширенного блока может быть равен T-1=5. Например, при рассмотрении блока W x H, доступ к памяти (например, общий доступ к памяти), используемый BDOF, может составлять (W+T-1+2M) x (H+T-1+2M) = (W+9) x (H+9), что может превышать доступ к памяти (W+7) x (H+7), который используется другими методиками. Доступ к памяти BDOF может не превышать доступ, используемый другими методиками. Можно обеспечить ограничение расширения блока. При применении ограничения расширения блока, соседние семплы внутри текущего блока, могут использоваться для расчета локального уточнения движения в позиции (например, каждой позиции внутри блока). На фиг. 6A–B показана схема доступа к памяти BDOF, где на фиг. 6A показан доступ к памяти без ограничения расширения блока, и где на фиг. 6B показан доступ к памяти с ограничением расширения блока. На фиг. 6A и 6B можно сравнить размер участка доступа к памяти для BDOF до и после применения ограничения расширения блока.

Может выполняться компенсация движения на основе подблоков (например, под-CU). Блок кодирования может иметь вектор движения для направления прогнозирования. Может использоваться ряд методик интерпрогнозирования на уровне подблоков. Методики интерпрогнозирования на уровне подблоков могут включать в себя усовершенствованное временное прогнозирование вектора движения (ATMVP), пространственно-временное прогнозирование вектора движения (STMVP), режим преобразования с повышением частоты кадров (FRUC), аффинный режим и/или т.п. Можно применять один или более из следующих вариантов. Видеоблок может разделяться на множество малых подблоков и может использоваться для выведения информации о движении для подблоков (например, каждый подблок отдельно). Информация о движении для подблоков может использоваться для генерирования сигнала прогнозирования блока, например, на этапе компенсации движения. Могут быть предусмотрены режимы кодирования подблоков.

Как описано в настоящем документе, может выполняться ATMVP. Можно применять один или более из следующих вариантов. Временное прогнозирование вектора движения может предоставлять блок для выведения информации о движении. Выведенная информация о движении может включать в себя вектор движения и эталонные индексы для подблоков в блоке (например, из одного или более меньших блоков соседних во времени изображений текущего изображения). ATMVP может выводить информацию о движении подблоков блока: соответствующий блок текущего блока, который может называться совмещенным блоком, может быть определен (например, во временном эталонном изображении); текущий блок может быть разделен на подблоки; и/или информация о движении подблоков из соответствующего малого блока в совмещенном изображении, как показано на фиг. 7. Выбранное временное эталонное изображение может называться совмещенным изображением.

На фиг. 7 показан пример схемы ATMVP. Совмещенный блок и совмещенное изображение могут идентифицироваться, например, посредством информации о движении пространственных соседних блоков текущего блока. Как показано на фиг. 7, может рассматриваться доступный кандидат (например, первый доступный кандидат) в списке кандидатов на объединение. Например, как показано на фиг. 7, блок A может быть идентифицирован как доступный (например, первый доступный) кандидат на объединение текущего блока на основании существующего порядка сканирования списка кандидатов на объединение. Соответствующий вектор движения блока A (например, MV_A) и его эталонный индекс могут использоваться для идентификации совмещенного изображения и совмещенного блока. Местоположение совмещенного блока в совмещенном изображении может определяться посредством добавления вектора движения блока A (MV_A) к координате текущего блока.

Для подблока (например, каждого подблока) в текущем блоке информация о движении его соответствующего малого блока (например, как указано стрелками на фиг. 7) в совмещенном блоке может использоваться для выведения информации о движении соответствующего подблока в текущем блоке. Например, информация о движении малых блоков в совмещенном блоке может преобразовываться в вектор движения и эталонный индекс соответствующего подблока в текущем блоке (например, после идентификации информации о движении каждого малого блока в совмещенном блоке). Информация о движении подблоков в текущем блоке может выводиться способом, аналогичным другим методикам выведения (например, где может применяться временное масштабирование вектора движения).

Как описано в настоящем документе, может выполняться STMVP. На фиг. 8 показан пример схемы STMVP. Можно применять один или более из следующих вариантов. В STMVP может выводиться (например, рекурсивным образом) информация о движении подблоков в блоке кодирования. На фиг. 8 проиллюстрирован пример рекурсивного выведения информации о движении подблоков в блоке кодирования. Как показано на фиг. 8, текущий блок может включать в себя четыре подблока A, B, C и D. Соседние малые блоки, которые могут быть пространственными соседями текущего блока, могут быть помечены как a, b, c и d соответственно. Выведение движения для подблока A может включать в себя идентификацию одного или более пространственных соседей (например, двух пространственных соседей подблока A). Сосед (например, первый сосед) подблока A может быть соседом сверху c. Если малый блок c не доступен или является интракодированным, следующие соседние малые блоки над текущим блоком могут проверяться по порядку (например, слева направо). Другой сосед (например, второй сосед) подблока A может быть левым соседом b. Если малый блок b не доступен или является интракодированным, например, могут проверяться по порядку следующие соседние малые блоки слева от текущего блока (сверху вниз). После выборки информации о движении пространственных соседей информация о движении временного соседа подблока A может быть получена с использованием процедуры, которая может быть аналогична TMVP. Информация о движении доступных пространственных соседей и одного или более временных соседей (например, до 3 соседей) может усредняться и использоваться как информация о движении подблока A. На основе порядка растрового сканирования, вышеупомянутый процесс STMVP может повторяться для выведения информации о движении других подблоков (например, всех остальных подблоков) в текущем видеоблоке.

Может выполняться преобразование с повышением частоты кадров (FRUC). FRUC может поддерживаться для интеркодированных блоков, что может снизить количество данных сигнализации информации о движении. При активации режима FRUC информация о движении кодированного блока, которая может включать в себя векторы движения и эталонные индексы, может не передаваться посредством сигналов. Информация о движении может выводиться (например, на стороне декодера), с использованием, например, сопоставления шаблонов и/или двустороннего сопоставления. Например, в ходе процесса выведения движения в декодере может проверяться список кандидатов на объединение блока и набор предварительных векторов движения, генерируемых исходя из векторов движения временных совмещенных блоков текущего блока. В качестве начальной точки может быть выбран кандидат, который приводит к минимальной сумме абсолютной разницы (SAD). Может выполняться локальный поиск на основе сопоставления шаблонов или двустороннего сопоставления вокруг начальной точки. MV, который приводит к минимальной SAD, может использоваться в качестве MV для блока. Информация о движении может уточняться на уровне подблоков, что может обеспечивать эффективную компенсацию движения.

На фиг. 9A и 9B проиллюстрированы примеры, связанные с FRUC. Например, на фиг. 9A-B показаны примеры схем для преобразования с повышением частоты кадров, где на фиг. 9A показано сопоставление шаблонов, а на фиг. 9B показано двустороннее сопоставление. Как показано на фиг. 9A, сопоставление шаблонов может использоваться для выведения информации о движении текущего блока посредством нахождения соответствия (например, наилучшего соответствия) между шаблоном в текущем изображении и блоком (например, который может быть того же размера, что и шаблон) в эталонном изображении. Шаблон может включать в себя верхний и/или левый соседние блоки текущего блока. На фиг. 9B двустороннее сопоставление может использоваться для выведения информации о движении текущего блока. Выведение информации о движении текущего блока может включать в себя поиск соответствия (например, наилучшего соответствия) между двумя блоками вдоль траектории движения текущего блока в различных эталонных изображениях (например, двух различных эталонных изображениях). Процесс поиска движения двустороннего сопоставления может основываться на траектории движения. Например, процесс поиска движения двустороннего сопоставления может основываться на векторах движения MV₀ и MV₁. Векторы движения MV₀ и MV₁ могут указывать на эталонные блоки. Векторы движения MV₀ и MV₁ могут быть пропорциональны временным расстояниям между текущим изображением и двумя эталонными изображениями (например, T₀ и T₁).

Для предоставления информации о движении может использоваться аффинная модель. На фиг. 10A и 10B показаны примеры схем аффинного режима, где на фиг. 10A показана упрощенная аффинная модель, а на фиг. 10B показано выведение движения на уровне подблоков для аффинных блоков. Для прогнозирования компенсации движения может применяться модель трансляционного движения. Движение может включать в себя одно или более из следующего: увеличение/уменьшение масштаба, вращение, перспективные движения, неправильные движения и/или т.п. В качестве примера может применяться прогнозирование компенсации движения аффинного преобразования. Как показано на фиг. 10A, поле аффинного движения блока может описываться посредством одного или более (например, двух) векторов движения контрольной точки. На основе движения контрольной точки поле движения аффинного блока может быть описано как:

(15)

Согласно (15), (v_0x, v_0y) может быть вектором движения контрольной точки в верхнем левом углу, а (v_1x, v_1y) может быть вектором движения контрольной точки в верхнем правом углу, как показано на фиг. 10A. Когда видеоблок кодируется посредством аффинного режима, поле движения видеоблока может выводиться на основе гранулярности блока 4 x 4. Например, как показано на фиг. 10B, для выведения вектора движения блока 4 x 4 (например, каждого 4 x 4), вектор движения центрального семпла подблока (например, каждого подблока) может рассчитываться в соответствии с (15) и может округляться с точностью до 1/16 пэл. Выведенные векторы движения могут использоваться на этапе компенсации движения для генерирования сигнала прогнозирования подблоков внутри текущего блока.

BDOF может быть упрощено. Можно применять один или более из следующих вариантов. Количество процессов BDOF для CU с двойным прогнозированием может быть уменьшено. BDOF может быть выполнен с учетом параллельной обработки. Для CU с двойным прогнозированием процесс BDOF может пропускаться на уровне CU или на уровне под-CU на основе подобия двух сигналов прогнозирования из одного или более (например, двух) эталонных списков. Например, если сигналы прогнозирования подобны, корректировки BDOF могут быть пропущены. Количество вызываемых корректировок BDOF может быть уменьшено, например, таким образом, чтобы сохранялась эффективность кодирования. Выведение градиента BDOF для списка (например, для каждого списка) может включать в себя интерполяцию семплов и расчет градиента, если вектор движения в списке не является целым числом. Для реализации с параллельной обработкой порядок горизонтальной и вертикальной фильтрации может быть изменен.

Как описывается в настоящем документе, может предусмотрен целочисленный компонент движения. Например, если k битов используются в качестве представления дольной части компонента вектора движения, а значение компонента вектора движения кратно (2^k), компонент вектора движения может включать в себя целочисленный компонент вектора движения. Аналогично, если значение компонента вектора движения не является кратным (2^k), компонент вектора движения может включать в себя нецелочисленную (например, дольную) часть и целочисленную часть.

Как описано в настоящем документе, BDOF может быть выполнен с учетом двунаправленного прогнозирования. Гранулярность и точность векторов движения, используемые на этапе компенсации движения, могут быть улучшены.

В BDOF горизонтальные градиенты и вертикальные градиенты могут генерироваться для списков эталонных изображений (например, L0 и L1). Например, уточнение BDOF может включать в себя вызов одного или более процессов фильтрации (например, процессов горизонтальной и/или вертикальной фильтрации) на горизонтальном и вертикальном градиентах в списках эталонных изображений (например, в каждом списке эталонных изображений). Как описывается в настоящем документе, с учетом вектора движения, MV(MV_x, MV_y), выведение горизонтального градиента может включать в себя применение интерполяционного фильтра семплов в вертикальном направлении. Например, если MV_y (например, вертикальный компонент вектора движения MV) включает в себя нецелочисленный (например, дольный) компонент вектора движения, интерполяционный фильтр семплов может использоваться для выведения значений семплов в дольных позициях. Градиентная фильтрация может выполняться в горизонтальном направлении с использованием значений семплов, интерполированных в дольных положениях по вертикали. Если MV_y включает в себя целочисленный компонент движения, градиентный фильтр (например, один градиентный фильтр) может применяться в горизонтальном направлении, например, с использованием значений семплов в целочисленных позициях. Аналогичный процесс может выполняться для выведения вертикальных градиентов.

CU с двойным прогнозированием может быть связан с одним или более (например, двумя) векторами движения. На CU может выполняться один или более процессов фильтрации. Например, если горизонтальный и вертикальный компоненты векторов движения, связанных с CU, включают в себя нецелочисленные (например, дольные) компоненты движения, может выполняться множество (например, 8) процессов фильтрации. Процесс фильтрации при выполнении (например, вызываемый) может включать в себя запросы на доступ к памяти, множественные умножения и множественные добавления. Длина фильтров, используемых во время BDOF (например, интерполяционный фильтр семплов с 8 отводами и градиентный фильтр с 6 отводами), может влиять на сложность кодирования.

Уточнение BDOF можно условно пропустить. Например, уточнение BDOF можно условно пропустить на основе подобия между двумя или более сигналами прогнозирования. Для определения того, следует ли пропустить BDOF, можно выполнить одно или более определений сходства.

Уточнение BDOF CU (например, как описано в уравнении (2)) может включать в себя уточнение движения в горизонтальном и вертикальном направлениях. Может выводиться параметр уточнения движения . Например, параметр уточнения движения может выводиться методом наименьших квадратов с использованием прогнозов. Локальная градиентная информация, например, из двух или более эталонных изображений, может использоваться для двойного прогнозирования. Может выводиться параметр уточнения движения.

Для BDOF может применяться упрощенный способ выведения градиента. Как описывается в настоящем документе, BDOF может включать в себя восемь процессов фильтрации, если горизонтальная и вертикальная составляющие векторов движения, связанных с CU, включают в себя нецелочисленные (например, дольные) компоненты движения. Число процессов фильтрации может быть уменьшено, например, до четырех процессов фильтрации. Количество сеансов доступа к памяти, умножений и/или добавлений может быть уменьшено.

Определение необходимости выполнения уточнения BDOF может быть выполнено, например, перед выполнением уточнения BDOF. Определение необходимости пропуска BDOF может быть основано на одной или более характеристиках, связанных с CU (например, режиме кодирования и/или размере блока).

Уточнение направленного BDOF может быть выполнено для CU. Например, уточнение направленного BDOF может включать в себя выполнение уточнения BDOF в определенном направлении (например, вертикальном направлении или горизонтальном направлении). Может быть выполнен анализ на основе градиента (например, расчет градиента), например, для двойных прогнозируемых CU. Как описывается в настоящем документе, расчет градиента может выполняться на одном или более уровнях, например, включая: уровень CU, уровень под-CU, уровень блока, уровень подблока и т.д. На основе расчета градиента может применяться одно или более из следующего: уточнение BDOF может быть пропущено, уточнение направленного BDOF может быть выполнено в горизонтальном направлении, уточнение направленного BDOF может быть выполнено в вертикальном направлении, а уточнение BDOF может быть выполнено в горизонтальном и вертикальном направлениях.

Как описано в настоящем документе, уточнение BDOF может включать в себя выполнение расчета градиента. Процесс расчета градиента может включать в себя выведение горизонтального направления и/или градиентов вертикального направления для эталонных изображений CU, например, с использованием векторов движения, связанных с этим эталонным изображением. Векторы движения, связанные с эталонными изображениями, могут включать в себя компонент движения. Расчет градиента в определенном направлении может включать в себя применение интерполяционного фильтра семплов, если, например, компонент вектора движения в другом направлении (например, перпендикулярном направлении) является нецелочисленной (например, дольной) составляющей движения. Градиентный фильтр может применяться, например, после интерполяционного фильтра семплов. Интерполяционный фильтр семплов может включать в себя фильтр нижних частот, а градиентный фильтр может включать в себя фильтр верхних частот, который может использоваться для выведения градиента.

Градиент может рассчитываться с использованием значения(-ий) семпла в целочисленной позиции. Может быть идентифицировано значение семпла в целочисленной позиции эталонного CU. Значение семпла в целочисленной позиции может использоваться для аппроксимации значения семпла в дольной позиции, например, если компонент вектора движения в этом направлении включает в себя нецелочисленный (например, дольный) компонент движения. Расчет градиента может включать в себя применение градиентного фильтра в определенном направлении. Может не применяться интерполяционный фильтр семплов. Вектор движения может называться MV (MV_x, MV_y) и может быть связан с эталонным изображением R. k может представлять собой количество битов, представленных для дольного значения компонента вектора движения. Количество градиентных фильтров, определенных для дольных положений, может обозначаться как n (например, 16, как показано в таблице 1). N может не превышать (2^k). Положение CU (например, текущая CU с двойным прогнозированием в текущем изображении) может обозначаться как P(P_x, P_y).

Могут выводиться горизонтальные градиенты CU, связанные с вектором движения MV (например, эталонная CU). Можно применять один или более из следующих вариантов. Целочисленная позиция эталонной CU может быть идентифицирована в эталонном изображении, связанном с CU. Целочисленная позиция эталонного CU может включать P’(P’x, P’y), где P’x = Px + (MVx >>k), а P’y = Py + (MV_y >>k). Может быть идентифицирована фаза градиентного фильтра (например, горизонтальная дольная позиция) (например, Фаза = ((MV_x)&(2^k-1))/(2^k/n)). Градиентный фильтр, который может быть определен в таблице 1, может быть идентифицирован с помощью фазы. Для вычисления горизонтального градиента, градиентный фильтр может применяться (например, в горизонтальном направлении) к позициям семплов в эталонной CU, расположенной в P’(P’x, P’y) в эталонном изображении R.

Могут выводиться вертикальные градиенты CU, связанные с вектором движения MV (например, a эталонная CU). Можно применять один или более из следующих вариантов. Целочисленная позиция эталонной CU может быть идентифицирована в эталонном изображении, связанном с CU. Целочисленная позиция эталонного CU может включать P’(P’x, P’y), где P’x = Px + (MVx >>k), а P’y = Py + (MVy >>k). Фаза градиентного фильтра (например, вертикальная дольная позиция) может быть идентифицирована (например, Фаза = ((MVy)&(2^k-1))/(2^k/n)). Градиентный фильтр, который может быть определен в таблице 1, может быть идентифицирован с помощью фазы. Для вычисления вертикального градиента, градиентный фильтр может применяться (например, в вертикальном направлении) к позициям семплов в эталонной CU, расположенной в P’(P’x, P’y) в эталонном изображении R.

Описанные в настоящем документе методики могут применяться для выведения других наборов горизонтальных и вертикальных градиентов (например, выведения наборов горизонтальных и вертикальных градиентов из списков эталонных изображений L0 и/или L1). Например, методики, описанные в настоящем документе, могут применяться к другим векторам движения (например, второму вектору движения), связанным с CU с двойным прогнозированием, для выведения других наборов горизонтальных и вертикальных градиентов. Если векторы движения, связанные с CU (например, два вектора движения, связанных с CU двойного прогнозирования), включают в себя нецелочисленный (например, дольный) компонент движения, количество фильтров, применяемых к семплу во время BDOF, может уменьшаться (например, к каждому семплу могут применяться 4 градиентных фильтра).

Как описано в настоящем документе, интерполяционный фильтр семплов может быть опущен, например, во время выведения градиента. Градиентные фильтры могут применяться во время выведения градиента (например, один из 16 фильтров, определенных в таблице 1), например, к целому положению, связанному с эталонной CU. Как описывается в настоящем документе, применение градиентного фильтра к эталонным семплам в целочисленной позиции эталонной CU может аппроксимировать дольную позицию семпла в эталонной CU (например, если вектор движения включает нецелочисленный компонент движения). Фильтр, который должен использоваться для CU (например, каждой CU), может идентифицироваться на основе вектора движения, связанного с CU. Количество градиентных фильтров, применяемых во время выведения градиента (например, n), может быть уменьшено. Количество градиентных фильтров может быть меньше количества возможных дольных положений компонента вектора движения. Например, во время выведения градиента может использоваться один градиентный фильтр. Градиентный фильтр может быть определен (например, предварительно задан), таким как градиентный фильтр, определенный в позиции 0 в таблице 1. Если во время выведения градиента применяется один градиентный фильтр, градиентный фильтр можно не хранить, а фазу градиентного фильтра можно не рассчитывать.

Процесс BDOF может выполняться при определенных условиях на основании одной или более характеристик, связанных с CU (например, режимом и/или размером кодирования). Например, BDOF может выполняться или не может выполняться при определенных условиях на основании одной или более характеристик, связанных с CU (например, режимом и/или размером кодирования). CU может быть связан с одним или более режимами интеркодирования. Например, определенные режимы кодирования могут поддерживать прогнозирование под-CU (например, или подблока), такое как: ATMVP/STMVP, двустороннее FRUC, сопоставление шаблонов FRUC, аффинное и т.д. Под-CU (например, подблок в CU) с индивидуальной информацией о движении может называться PU. Под-CU может использоваться в BDOF, например, для повышения эффективности интерпрогнозирования. Например, под-CU может предоставлять поле движения (например, поле точного движения) для под-CU. Режимы интеркодирования, поддерживающие прогнозирование под-CU, могут иметь различные характеристики соответственно. Можно применять один или более из следующих вариантов. ATMVP/STMVP может выводить поле движения текущей CU из пространственно соседних блоков, временно соседних блоков и/или пространственно и временно соседних блоков. Двустороннее FRUC и сопоставление шаблонов FRUC может выводить информацию о движении способом, аналогичным поиску движения. Например, двустороннее FRUC и сопоставление шаблонов FRUC может выводить информацию о движении в декодере.

BDOF (например, уточнение BDOF) может выполняться условно на основании режима кодирования, связанного с CU. Например, BDOF может быть пропущен на основе режима интеркодирования, связанного с CU (например, под-CU и/или PU). Может быть определен режим интеркодирования, связанный с CU. Режим интеркодирования может поддерживать прогнозирование под-CU. Если режим интеркодирования, связанный с CU, поддерживает прогнозирование под-CU, уточнение BDOF может быть пропущено (например, отключено для CU).

Как описано в настоящем документе, BDOF может выполняться или не выполняться на основании размера, связанного с CU (например, под-CU и/или PU). Для интеррежимов под-CU, если размер PU больше (например, больше порога, такого как 32×32), область кодирования может находиться в определенной области движения (например, области плавного движения). Если размер PU меньше (например, меньше порога, такого как 32×64), движение в области кодирования может быть сложным. Если CU (например, текущая CU двойного прогнозирования) кодируется с использованием интеррежимов подблоков и размер PU является большим (например, превышает пороговое значение, которое может быть предварительно задано), процесс BDOF (например, уточнение BDOF) может быть пропущен. Если размер PU является малым (например, не превышает пороговое значение, которое может быть предварительно определено), может применяться процесс BDOF. Порог для режима под-CU (например, для каждого режима под-CU) может быть передан с помощью данных сигнализации в наборе параметров последовательности, наборе параметров изображения, заголовке среза или т.п.

Режим кодирования и/или размер PU могут быть идентифицированы, например, для определения того, следует ли выполнять BDOF. Подобие между двумя или более сигналами прогнозирования, такими как расчет SAD, может не определяться. Методики, описанные в настоящем документе, например, в отношении определения того, следует ли выполнять BDOF (например, на основе режима кодирования и/или размера PU), можно комбинировать с другими способами на основе характеристики сигнала. Например, методики могут включать в себя определение того, запрашивается ли процесс BDOF для текущей CU. Устройство может определять необходимость выполнения BDOF (например, используя одну или более методик, описанных в настоящем документе). Например, BDOF может быть выполнен при определенных условиях на основании размера PU и/или режима кодирования.

Может выполняться уточнение направленного BDOF. Например, уточнение BDOF может выполняться в определенном направлении (например, горизонтальном направлении или вертикальном направлении) на основе расчета разности градиентов. Уточнение BDOF может выполняться для: семпла (например, каждого семпла), блока, CU и/или под-CU (например, подблока, такого как 4×4). На фиг. 11 представлена схема уточнения BDOF для CU. Горизонтальные градиенты и вертикальные градиенты могут рассчитываться для CU, например, с помощью методик, описанных в настоящем документе. Один или более параметров уточнения BDOF могут быть получены для под-CU с использованием, например, метода наименьших квадратов. Уточненное прогнозирование BDOF может генерироваться для под-CU, например, с использованием выведенных параметров уточнения BDOF с применением уравнения (2). Характеристики под-CU могут быть разными. Если горизонтальный градиент эталонного изображения в списке 0 (например, аналогичен горизонтальному градиенту эталонного изображения в списке 1 (например, ), уточнение BDOF может не обеспечивать улучшение в горизонтальном направлении). Уточнение BDOF может выполняться или не выполняться в одном или более направлениях.

Определение необходимости выполнения BDOF (например, направленный BDOF) может основываться на градиентном анализе (например, разности градиентов), выполняемом во множестве (например, двух) направлений. Например, dGx (например, разность градиентов горизонтального направления) и dGy (например, разность градиентов вертикального направления) могут быть определены для CU (например, или под-CU) с помощью уравнений (16) и (17) соответственно. dGx и dGy могут использоваться для определения того, является ли градиент в эталонных изображениях, связанных с CU (например, или под-CU) подобным, и/или для определения направления выполнения направленного BDOF (например, горизонтального или вертикального).

(16) (17)

dGx и dGy могут сравниваться (например, каждый из них может сравниваться) с пороговым значением, например, для определения того, выполнять ли направленный BDOF. Пороговое значение может быть статическим и/или переменным. Если dGx меньше или равно порогового значения, такого как статическое пороговое значение (например, предварительно заданного порогового значения), горизонтальные градиенты CU (например, или под-CU) в эталонных изображениях, связанных с CU, могут быть подобными. Если dGy меньше или равно порогового значения, такого как статическое пороговое значение (например, предварительно заданного порогового значения), вертикальные градиенты CU (например, или под-CU) в эталонных изображениях, связанных с CU, могут быть подобными. Можно применять один или более из следующих вариантов. Если градиенты в горизонтальном и вертикальном направлениях подобны, уточнение BDOF может быть пропущено для CU (например, или под-CU). Двойное прогнозирование может быть применено, например, для генерирования прогноза для CU. Если вертикальные градиенты подобны, а горизонтальные градиенты не подобны, может выводиться горизонтальный параметр уточнения BDOF и может выполняться направленный BDOF в горизонтальном направлении, например, с помощью уравнения (18). Если вертикальные градиенты подобны, а горизонтальные градиенты не подобны, выведение вертикального параметра уточнения может быть пропущено.

(18)

Вертикальные градиенты могут быть не подобными, а горизонтальные градиенты могут быть подобными. Может быть выведен параметр уточнения BDOF и уточнение направленного BDOF может быть выполнено в вертикальном направлении, например, с использованием уравнения (19). Выведение параметра горизонтального уточнения BDOF может быть пропущено.

(19)

Градиенты в вертикальном и горизонтальном направлениях могут быть не подобными. Если градиенты в вертикальном и горизонтальном направлениях не подобны, может выполняться уточнение BDOF, например, в горизонтальном направлении и в вертикальном направлении.

Как описано в настоящем документе, dGx и dGy могут сравниваться (например, каждый из них может сравниваться) с переменным пороговым значением (например, динамическим пороговым значением), например, для определения необходимости выполнения направленного BDOF. Например, dGx может сравниваться с первым пороговым значением, а dGy может сравниваться со вторым пороговым значением. Первое и второе пороговые значения могут быть разными. Например, первым пороговым значением может быть dGy (например, разность градиентов в горизонтальном направлении), а вторым пороговым значением может быть dGx (например, разность градиентов в вертикальном направлении). Если dGx больше первого порогового значения, направленная BDOF может быть выполнена в вертикальном направлении. Если dGy больше второго порогового значения, направленная BDOF может быть выполнена в горизонтальном направлении.

На фиг. 12 представлена схема уточнения направленного BDOF, которая может быть предназначена для CU (например, или под-CU). Разности градиентов (например, dGx и dGy) могут рассчитываться для CU или под-CU (например, для каждого CU или под-CU). На основании разности градиентов может применяться одно или более из следующего: уточнение BDOF может не выполняться (например, пропускаться), уточнение BDOF может выполняться, направленный BDOF может выполняться в вертикальном направлении или направленный BDOF может выполняться в горизонтальном направлении. Пороговые значения могут быть передаваться с помощью данных сигнализации в наборе параметров последовательности, наборе параметров изображения, заголовке среза или т.п. Как описано в настоящем документе, пороговые значения могут представлять собой переменную (например, как показано на фиг. 12, TH1 может включать в себя dGy и/или TH2 может включать в себя dGx).

Градиентная разница может рассчитываться по CU, например, с использованием уравнений (20) и (21) (например, в начале процесса PU). Определение направления, в котором следует выполнять уточнение направленного BDOF, может быть выполнено на уровне CU, под-CU и/или на уровне PU. Можно применять один или более из следующих вариантов: Уточнение BDOF может быть пропущено на уровне CU, под-CU и/или на уровне PU; уточнение направленного BDOF может быть выполнено в горизонтальном направлении на уровне CU, под-CU и/или PU, уточнение направленного BDOF может быть выполнено в вертикальном направлении на уровне CU, под-CU и/или на уровне PU; уточнение BDOF может быть выполнено на уровне CU, под-CU и/или на уровне PU; и т.д. Пороговое значение может быть масштабировано, например, на основании площади CU, под-CU и/или PU (например, поскольку сравнения dGx или dGy могут не выполняться для подблоков равного размера).

(20) (21)

Изобретение относится к способам и устройствам для кодирования и декодирования видео. Технический результат заключается в повышении эффективности видеокодирования. Способ кодирования видео включает в себя получение размера блока кодирования, содержащего подблок; определение необходимости обеспечения двунаправленного оптического потока (BDOF) для блока кодирования на основе размера блока кодирования; определение необходимости деактивации BDOF для подблока блока кодирования на основе подобия прогнозирования множества сигналов прогнозирования, связанных с подблоком, причем способ также содержит: получение первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и получение второго сигнала прогнозирования, связанного со вторым эталонным списком подблока на основе определения необходимости обеспечения BDOF для блока кодирования; и определение подобия множества сигналов прогнозирования на основе первого сигнала прогнозирования и второго сигнала прогнозирования; прогнозирование подблока на основе определения необходимости деактивации BDOF для подблока; и кодирование блока кодирования на основе прогнозируемого подблока. 4 н. и 10 з.п. ф-лы, 19 ил., 2 табл.

1. Устройство для декодирования видео, содержащее один или более процессоров, причем один или более процессоров выполнены с возможностью:

получения размера блока кодирования, содержащего подблок;

определения необходимости обеспечения двунаправленного оптического потока (BDOF) для блока кодирования на основе размера блока кодирования;

определения необходимости деактивации BDOF для подблока блока кодирования на основе подобия множества сигналов прогнозирования, связанных с подблоком, причем один или более процессоров также выполнены с возможностью:

получения первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и получения второго сигнала прогнозирования, связанного со вторым эталонным списком подблока на основе определения необходимости обеспечения BDOF для блока кодирования; и

определения подобия множества сигналов прогнозирования на основе первого сигнала прогнозирования и второго сигнала прогнозирования;

прогнозирования подблока на основе определения необходимости деактивации BDOF для подблока; и

декодирования блока кодирования на основе прогнозируемого подблока.

2. Устройство по п. 1, в котором один или более процессоров выполнены с возможностью:

получения порогового значения на основе набора параметров или заголовка среза, причем определение необходимости обеспечения BDOF для блока кодирования основано на сравнении размера блока кодирования с пороговым значением.

3. Устройство по п. 1, в котором один или более процессоров выполнены с возможностью:

определения суммы абсолютной разницы (SAD) на основе первого сигнала прогнозирования и второго сигнала прогнозирования, причем подобие в отношении множества сигналов прогнозирования определяется на основе SAD.

4. Устройство по п. 1, в котором один или более процессоров выполнены с возможностью:

определения того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования, причем определение необходимости обеспечения BDOF для блока кодирования дополнительно основано на определении того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования.

5. Устройство для кодирования видео, содержащее один или более процессоров, причем один или более процессоров выполнены с возможностью:

получения размера блока кодирования, содержащего подблок;

определения необходимости обеспечения двунаправленного оптического потока (BDOF) для блока кодирования на основе размера блока кодирования;

определения необходимости деактивации BDOF для подблока блока кодирования на основе подобия множества сигналов прогнозирования, связанных с подблоком, причем один или более процессоров также выполнены с возможностью:

получения первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и получения второго сигнала прогнозирования, связанного со вторым эталонным списком подблока на основе определения необходимости обеспечения BDOF для блока кодирования; и

определения подобия множества сигналов прогнозирования на основе первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и второго сигнала прогнозирования, связанного со вторым эталонным списком подблока;

прогнозирования подблока на основе определения необходимости деактивации BDOF для подблока; и

кодирования блока кодирования на основании прогнозируемого подблока.

6. Устройство по п. 5, в котором один или более процессоров выполнены с возможностью:

определения суммы абсолютной разницы (SAD) на основе первого сигнала прогнозирования и второго сигнала прогнозирования, причем подобие в отношении множества сигналов прогнозирования определяется на основе SAD.

7. Устройство по п. 5, в котором один или более процессоров выполнены с возможностью:

определения того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования, причем определение необходимости обеспечения BDOF для блока кодирования дополнительно основано на определении того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования.

8. Способ декодирования видео, включающий в себя: получение размера блока кодирования, содержащего подблок;

определение необходимости обеспечения двунаправленного оптического потока (BDOF) для блока кодирования на основе размера блока кодирования;

определение необходимости деактивации BDOF для подблока блока кодирования на основе подобия множества сигналов прогнозирования, связанных с подблоком, причем способ также содержит:

получение первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и получение второго сигнала прогнозирования, связанного со вторым эталонным списком подблока на основе определения необходимости обеспечения BDOF для блока кодирования; и

определение подобия множества сигналов прогнозирования на основе первого сигнала прогнозирования и второго сигнала прогнозирования;

прогнозирование подблока на основе определения необходимости деактивации BDOF для подблока; и

декодирование блока кодирования на основе прогнозируемого подблока.

9. Способ по п. 8, дополнительно включающий в себя:

получение порогового значения на основе набора параметров или заголовка среза, причем определение необходимости обеспечения BDOF для блока кодирования основано на сравнении размера блока кодирования с пороговым значением.

10. Способ по п. 8, дополнительно включающий в себя:

определение суммы абсолютной разницы (SAD) на основе первого сигнала прогнозирования и второго сигнала прогнозирования, причем подобие в отношении множества сигналов прогнозирования определяется на основе SAD.

11. Способ по п. 8, дополнительно включающий в себя:

определение того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования, причем определение необходимости обеспечения BDOF для блока кодирования дополнительно основано на определении того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования.

12. Способ кодирования видео, включающий в себя:

получение размера блока кодирования, содержащего подблок;

определение необходимости обеспечения двунаправленного оптического потока (BDOF) для блока кодирования на основе размера блока кодирования;

определение необходимости деактивации BDOF для подблока блока кодирования на основе подобия прогнозирования множества сигналов прогнозирования, связанных с подблоком, причем способ также содержит:

получение первого сигнала прогнозирования, связанного с первым эталонным списком подблока, и получение второго сигнала прогнозирования, связанного со вторым эталонным списком подблока на основе определения необходимости обеспечения BDOF для блока кодирования; и

определение подобия множества сигналов прогнозирования на основе первого сигнала прогнозирования и второго сигнала прогнозирования;

прогнозирование подблока на основе определения необходимости деактивации BDOF для подблока; и

кодирование блока кодирования на основе прогнозируемого подблока.

13. Способ по п. 12, дополнительно включающий в себя:

определение суммы абсолютной разницы (SAD) на основе первого сигнала прогнозирования и второго сигнала прогнозирования, причем подобие в отношении множества сигналов прогнозирования определяется на основе SAD.

14. Способ по п. 12, дополнительно включающий в себя:

определение того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования, причем определение необходимости обеспечения BDOF для блока кодирования дополнительно основано на определении того, что методика интерпрогнозирования на уровне подблоков деактивирована для блока кодирования.