СПОСОБЫ И УСТРОЙСТВО ДЛЯ УТОЧНЕНИЯ ПРОГНОЗИРОВАНИЯ ДЛЯ УТОЧНЕНИЯ ВЕКТОРА ДВИЖЕНИЯ НА СТОРОНЕ ДЕКОДЕРА С ПОМОЩЬЮ ОПТИЧЕСКОГО ПОТОКА Российский патент 2024 года по МПК H04N19/513 H04N19/137 

Предпосылки создания изобретения

Системы кодирования видеосигналов широко применяют для сжатия цифровых видеосигналов со снижением потребности в хранении и/или уменьшении ширины полосы пропускания таких сигналов. Среди различных типов систем кодирования видеосигналов, таких как системы на основе блоков, на основе вейвлетов и на основе объектов, в настоящее время чаще всего используют и развертывают гибридные системы кодирования видеосигналов на основе блоков. Примеры таких систем видеокодирования на основе блоков включают международные стандарты видеокодирования, такие как MPEG-1/2/4 часть 2, H.264/MPEG-4 часть 10 AVC [1] [2], VC-1 [3] и последний стандарт видеокодирования, называемый High Efficiency Video Coding (высокоэффективное видеокодирование) (HEVC) [4], который был разработан JCT-VC (Joint Collaborative Team on Video Coding (объединенной совместной группой по видеокодированию)) ITU-T/SG16/Q.6/VCEG и ISO/IEC/MPEG.

Краткое описание графических материалов

Более подробное объяснение содержится в представленном ниже подробном описании с использованием примеров в сочетании с прилагаемыми графическими материалами. Фигуры в таких графических материалах, как и подробное описание, являются примерами. Таким образом, данные фигуры и подробное описание нельзя рассматривать как ограничивающие, при этом возможны и вероятны другие в равной степени эффективные примеры. Кроме того, подобные позиции на фигурах указывают подобные элементы, причем:

на фиг. 1 представлена блок-схема, иллюстрирующая пример кодера видеосигнала, в которой можно реализовать один или более вариантов осуществления;

на фиг. 2 представлена блок-схема, иллюстрирующая пример видеодекодера для использования с системой кодирования и/или декодирования видео по фиг. 1, в которой можно обеспечить и/или реализовать один или более вариантов осуществления;

на фиг. 3A представлена схема, иллюстрирующая аффинное поле движения блока, описываемое двумя векторами движения контрольной точки, в соответствии с вариантами осуществления;

на фиг. 3B представлена схема, иллюстрирующая выведение движения на уровне подблоков для аффинных блоков при прогнозировании движения на основе аффинного режима с 4 параметрами в соответствии с вариантами осуществления;

на фиг. 4 представлена схема, иллюстрирующая пример модели прогнозирования движения на основе аффинного режима с 6 параметрами в соответствии с вариантами осуществления;

на фиг. 5 представлена схема, иллюстрирующая уточнение вектора движения на стороне декодера в соответствии с вариантами осуществления;

на фиг. 6 представлена схема, иллюстрирующая разницу между вектором движения на уровне пикселей и вектором движения на уровне подблоков в соответствии с вариантами осуществления;

на фиг. 7 представлена схема, на которой показаны примеры блоков в единице кодирования для целей иллюстрирования варианта осуществления;

на фиг. 8A представлена схема системы, иллюстрирующая пример системы связи, в которой могут быть реализованы один или более описанных вариантов осуществления;

на фиг. 8B представлена схема системы, иллюстрирующая пример модуля беспроводной передачи/приема (WTRU), который может быть использован в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления;

на фиг. 8C представлена схема системы, иллюстрирующая пример сети радиодоступа (RAN) и пример опорной сети (CN), которые могут быть использованы в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления;

на фиг. 8D представлена схема системы, иллюстрирующая дополнительный пример RAN и дополнительный пример CN, которые могут быть использованы в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления; и

на фиг. 9 представлена схема системы, иллюстрирующая систему, реализующую различные аспекты и операции в соответствии с вариантами осуществления.

Подробное описание

Введение

В июле 2018 года Объединенная группа экспертов по видеосигналам (JVET) запустила новый проект для разработки стандарта кодирования видеосигналов нового поколения, который получил название Versatile Video Coding (VVC — универсальное кодирование видеосигналов) [6]. В том же месяце для демонстрации эталонной реализации стандарта VVC была создана одна эталонная кодовая база программного обеспечения, получившая название «тестовая модель VVC (VTM) [7]». В первоначальной версии VTM-1.0 большинство модулей кодирования, включая интрапрогнозирование, интерпрогнозирование, преобразование/обратное преобразование и квантование/деквантование, а также внутрипетлевые фильтры, соответствуют существующей структуре HEVC, за исключением того, что в VTM используется древовидная структура блочного разбиения множественного типа. При этом для упрощения оценки новых инструментов кодирования также была создана другая эталонная база программного обеспечения, получившая название «эталонный набор критериев (BMS) [8]. В кодовой базе BMS в качестве эталона при оценке аналогичных технологий кодирования в процессе стандартизации VVC включен наследованный из JEM [10] перечень инструментов кодирования, который обеспечивает более высокую эффективность кодирования и умеренную сложность реализации. В частности, в BMS-1.0 встроены 9 инструментов кодирования JEM, включая 65 угловых направлений внутреннего прогнозирования, кодирование модифицированных коэффициентов, расширенное множественное преобразование (AMT) + 4 × 4 неразделимое вторичное преобразование (NSST), аффинную модель движения, обобщенный адаптивный контурный фильтр (GALF), усовершенствованное временное прогнозирование вектора движения (ATMVP), адаптивную точность вектора движения, уточнение вектора движения на стороне декодера (DMVR) и режим линейной цветовой модели (LM).

Аналогично HEVC, VVC построен на основе гибридной структуры кодирования видеосигналов на основе блоков. На фиг. 1 представлена блок-схема, иллюстрирующая универсальную гибридную систему кодирования видеосигналов на основе блоков. Входной видеосигнал 102 обрабатывается поблочно. В HEVC расширенные размеры блоков (называемые «единицей кодирования» или CU) используются для эффективного сжатия видеосигналов высокого разрешения (например, 1080 пкс. и более). CU в HEVC может иметь размер до 64x64 пикселей. CU может далее разбиваться на единицы прогнозирования (PU), для которых могут применяться отдельные способы прогнозирования. Как показано на фиг. 1, на которой представлена общая блок-схема кодера видеосигнала на основе блоков, для каждого входного видеоблока (который может представлять собой главный блок (MB) или CU) может выполняться пространственное прогнозирование (160) и/или временное прогнозирование (162). Пространственное прогнозирование (или «интрапрогнозирование») использует пиксели из ранее закодированных соседних блоков в одном и том же видеоизображении/фрагменте для прогнозирования текущего видеоблока. Пространственное прогнозирование уменьшает пространственную избыточность, характерную для видеосигнала. Временное прогнозирование (также называемое «интерпрогнозированием» и/или «прогнозированием с компенсацией движения») для прогнозирования текущего видеоблока использует пиксели из ранее закодированных видеоизображений. Временное прогнозирование снижает временную избыточность, характерную для видеосигнала. Сигналы временного прогнозирования для данного видеоблока обычно передаются посредством одного или более векторов движения, которые указывают величину и направление движения между текущим блоком и его эталонным блоком. Кроме того, если поддерживается множество эталонных изображений (как в случае множества последних стандартов кодирования видеосигналов, таких как H.264/AVC или HEVC), для каждого видеоблока дополнительно отправляется индекс его эталонного изображения; и эталонный индекс используется для идентификации эталонного изображения в хранилище эталонных изображений (164), на котором основывается сигнал временного прогнозирования. После пространственного и/или временного прогнозирования блок (180) принятия решения о режиме в кодере выбирает оптимальный режим прогнозирования, например на основании способа оптимизации зависимости искажений от скорости передачи. Блок прогнозирования либо из пространственного прогнозирования 160, либо из временного прогнозирования 162 затем вычитается из текущего видеоблока 116; и остаточное значение прогнозирования декоррелируется с использованием преобразования 104 и квантуется 106 для достижения целевой скорости передачи в битах. Квантованные остаточные коэффициенты обратно квантуются (110) и обратно преобразуются (112) для формирования воссозданного остатка, который затем добавляется назад к блоку прогнозирования в 126 для формирования воссозданного видеоблока. Далее внутрипетлевой фильтр (166), такой как деблочный фильтр и адаптивный петлевой фильтр, может применяться к воссозданному видеоблоку, прежде чем он будет помещен в хранилище эталонных изображений (164) и использован для кодирования будущих видеоблоков. Для формирования выходного битового видеопотока 120 режим кодирования (например, внешний или внутренний), информация о режиме прогнозирования, информация о движении и квантованные остаточные коэффициенты передают в элемент (108) энтропийного кодирования для дополнительного сжатия и упаковки для формирования битового потока.

На фиг. 2 проиллюстрирована общая блок-схема видеодекодера на основе блоков. Битовый видеопоток 202 сначала распаковывают и энтропийно декодируют в элементе 208 энтропийного декодирования. Режим кодирования и информация о прогнозировании отправляются единице 260 пространственного прогнозирования (для режима интракодирования) и/или единице 262 временного прогнозирования (для режима интеркодирования) для соответствующей единицы указанного прогнозирования для формирования блока прогнозирования. Остаточные коэффициенты преобразования отправляют в элемент 210 обратного квантования и/или элемент 212 обратного преобразования для восстановления остаточного блока. Затем блок прогнозирования (из пространственного прогнозирования 260, если применяется режим внутреннего кодирования, или из временного прогнозирования 262, если применяется режим внешнего кодирования) добавляют к остаточному блоку (226). Восстановленный блок может дополнительно проходить через внутрипетлевое средство фильтрации 266 перед сохранением в хранилище 264 эталонных изображений. Восстановленное видео 220 также отправляется для приведения в действие устройства отображения в дополнение к сохранению в хранилище эталонных изображений для использования при прогнозировании будущих видеоблоков.

Используемое в современных видеокодеках двунаправленное прогнозирование с компенсацией движения (MCP) известно своей высокой эффективностью при удалении временной избыточности путем использования временных корреляций между изображениями и широко применяется в большинстве современных видеокодеков [2][9][10][7]. Тем не менее, сигнал двойного прогнозирования формируется посредством комбинирования двух сигналов единичного прогнозирования с использованием значения весового коэффициента, равного 0,5. Однако объединение сигналов единичного прогнозирования является менее оптимальным, особенно в условиях, когда освещенность быстро изменяется от одного эталонного изображения к другому. Таким образом, было разработано несколько методик прогнозирования, направленных на компенсацию изменения освещенности с течением времени путем применения глобальных и локальных весовых коэффициентов и значений смещения к каждому из значений сэпла в эталонных изображениях. Некоторые из этих методик описаны ниже.

Аффинный режим

В HEVC для прогнозирования с компенсацией движения применяется только трансляционная модель движения, тогда как в реальном мире существует множество видов движения, например, движение увеличение/уменьшения, вращения, перспективы и другие виды беспорядочного движения. В VTM-2.0 [7] применяют аффинное прогнозирование с компенсацией движения. Модель аффинного движения является моделью либо с 4 параметрами, либо с 6 параметрами. Для каждого CU с внешним кодированием сигнализируют первый флаг, указывающий, какая именно модель движения применяется для интерпрогнозирования, трансляционная или аффинная. При применении аффинной модели движения посылается второй флаг для указания того, является ли модель моделью с 4 параметрами или с 6 параметрами.

Модель аффинного движения с четырьмя параметрами движения имеет следующие параметры: два параметра описывают поступательное перемещение в горизонтальном и вертикальном направлениях, один параметр описывает движение масштабирования в обоих направлениях и один параметр описывает вращательное движение в обоих направлениях. Параметр горизонтального масштабирования равен параметру вертикального масштабирования. Параметр горизонтального вращения равен параметру вертикального вращения. Данная аффинная модель движения по четырем параметрам кодируется в VTM с использованием двух векторов движения в двух положениях контрольных точек, заданных в левом верхнем углу и правом верхнем углу текущего CU. Как показано на фиг. 3A, аффинное поле движения блока описывается двумя векторами движения контрольной точки (V₀, V₁). На основе движения контрольной точки поле (v_x, v_y) движения одного блока, закодированного с применением аффинного алгоритма, может быть описано как:

где (v_0x, v_0y) является вектором движения контрольной точки в левом верхнем углу, а (v_1x, v_1y) является вектором движения контрольной точки в правом верхнем углу, как показано на фиг. 3A, и w является шириной CU. В VTM-2.0 поле движения CU с аффинным кодированием выводится на уровне блока 4х4; то есть (v_x, v_y) получают для каждого из блоков 4x4 в текущей CU и применяют к соответствующему блоку 4x4. На фиг. 3B проиллюстрировано выведение движения для аффинных блоков при прогнозировании аффинного движения с 4 параметрами, например, на уровне блока 4х4.

Данные четыре параметра аффинной модели с 4 параметрами рассчитываются итерационно. На стадии k пары векторов движения (MV) обозначают как , сигнал исходной яркости как I(i,j), сигнал прогнозируемой яркости как I'_k(i,j). Пространственный градиент g_x(i,j) и g_y(i,j) получают с помощью фильтра Собеля [13], примененного к сигналу прогнозирования I'_k(i,j) в горизонтальном и вертикальном направлениях соответственно. Производное уравнения (1) можно представить следующим образом:

где (a, b) — параметры дельта-вектора поступательного перемещения, а (c, d) — параметры дельта-вектора масштабирования и вращения на стадии k. Дельта-показатель MV в контрольной точке может быть выведен по его координатам с использованием ур. (3) и (4). Например, (0, 0), (w, 0) представляют собой координаты для верхних левых и верхних правых контрольных точек соответственно.

На основании уравнения оптического потока соотношение между изменением яркости и пространственным градиентом и временными характеристиками движения можно представить следующим уравнением:

Замещая и ур. (2), получаем уравнение для параметра (a, b, c, d).

Поскольку все сэмплы в CU удовлетворяют ур. (6), решение относительно набора параметров (a, b, c, d) может быть получено с помощью метода наименьших квадратичных ошибок. Векторы MV в двух контрольных точках на стадии (k+1) можно определить с помощью ур. (3) и (4), и они могут быть округлены до определенного уровня точности (т.е. 1/4 пикселя). Используя итерацию, MV в двух контрольных точках могут уточняться до конвергенции, когда все параметры (a, b, c, d) являются нулями или время итерации соответствует заданному пределу.

Аффинная модель движения с 6 параметрами имеет следующие параметры: два параметра для поступательного перемещения в горизонтальном и вертикальном направлениях, один параметр для движения масштабирования и один параметр для движения вращения в горизонтальном направлении, а также один параметр для движения масштабирования и один параметр для движения вращения в вертикальном направлении. Модель аффинного движения с 6 параметрами кодируется тремя MV в трех контрольных точках. Как показано на фиг. 4, три контрольные точки для CU для аффинной кодировкой по 6 параметрам определены в верхнем левом, верхнем правом и нижнем левом углу CU. Движение в левой верхней контрольной точке связано с поступательным движением, движение в правой верхней контрольной точке связано с движением вращения и масштабирования в горизонтальном направлении, а движение в левой нижней контрольной точке связано с движением вращения и масштабирования в вертикальном направлении. Для модели аффинного движения с 6 параметрами поворотное и/или масштабирующее движение в горизонтальном направлении могут не совпадать с такими же движениями в вертикальном направлении. Вектор движения каждого подблока (v_x, v_y) выводится с использованием трех векторов MV в контрольных точках, как показано ниже:

где (v_2x, v_2y) — вектор движения левой нижней контрольной точки, (x, y) — центральное положение подблока, а w и h — ширина и высота CU.

Шесть параметров аффинной модели с 6 параметрами оценивают способом, аналогичным описанному выше применительно к аффинной модели движения с 4 параметрами. Ур. (2) изменяется следующим образом.

где (a, b) представляют собой дельта-параметры поступательного движения, (c, d) представляют собой дельта-параметры масштабирования и вращения для горизонтального направления, а (e, f) представляют собой дельта-параметры масштабирования и вращения для вертикального направления на шаге k. Уравнение (8) также изменяется соответствующим образом, как показано ниже в ур. (9).

Набор параметров (a, b, c, d, e, f) может быть определен с использованием метода наименьших квадратов с учетом всех сэмплов в CU. MV верхней левой контрольной точки рассчитывается по ур. (3). MV верхней правой контрольной точки рассчитывается по ур. (10) ниже. MV верхней правой контрольной точки рассчитывается по ур. 11.

Уточнение вектора движения на стороне декодера (DMVR)

Для повышения точности MV в режиме объединения в VTM4 [11] применяют уточнение вектора движения на стороне декодера на основе двухстороннего согласования (BM). При двойном прогнозировании выполняется поиск уточненного MV вокруг исходных MV в списке эталонных изображений L0 и списке эталонных изображений L1. В рамках способа BM вычисляется искажение между двумя потенциальными блоками в списках эталонных изображений L0 и L1. Как представлено на фиг. 9, рассчитывают сумму абсолютной разницы (SAD) между красными блоками на основе каждого потенциального элемента MV вокруг начального MV. Потенциальный элемент MV с наименьшей SAD становится уточненным MV и используется для генерирования сигнала двойного прогнозирования.

Уточненный MV, выведенный в рамках DMVR, используется для генерирования сэмплов интерпрогнозирования, а также используется при временном прогнозировании вектора движения для будущего кодирования изображений. При этом исходный MV используют в процессе деблокирования, а также используют при пространственном прогнозировании вектора движения для будущего кодирования CU.

Как показано на фиг. 5, точки поиска, окружающие начальный MV и смещение MV, подчиняются правилу зеркального отображения разности MV (т.е. правилу симметрии). Другими словами, любые точки, проверенные в рамках DMVR, обозначенные парой потенциальных элементов MV (MV0, MV1), подчиняются следующим двум уравнениям:

где MV_offset представляет собой смещение уточнения между начальным MV и уточненным MV в одном из эталонных изображений. В VTM4 диапазон уточнения поиска представляет собой два целочисленных сэмпла яркости от начального MV. Для снижения сложности поиска можно применять способ быстрого поиска с механизмом досрочного завершения.

Уточнение прогнозирования с помощью оптического потока для аффинного режима (PROF)

Для достижения более тонкой гранулярности компенсации движения [12] предлагается способ уточнения прогнозирования с компенсацией движения на основе подблоков при помощи оптического потока, называемый уточнением прогнозирования с помощью оптического потока (PROF).

После выполнения аффинной компенсации движения на основе подблоков сэмпл прогнозирования яркости уточняется путем добавления разности, полученной с помощью уравнения оптического потока. Предлагаемое PROF описано на следующих четырех стадиях.

Стадия 1: Аффинная компенсация движения на основе подблоков выполняется для генерирования прогнозирования подблоков I(I,j).

Стадия 2: Пространственные градиенты g_x(i,j) и g_y(i,j) прогнозирования подблоков рассчитываются в местоположении каждого сэмпла с использованием 3-отводного фильтра [-1, 0, 1].

g_x(i,j) = I(i + 1,j) – I(i – 1,j)

g_y(i,j) = I(i,j + 1) – I(i,j – 1)

Параметры прогнозирования подблоков расширяются на один пиксель с каждой стороны для расчета градиента. Для уменьшения полосы пропускания запоминающего устройства и сложности работы пиксели на расширенных границах копируются из ближайшего целочисленного положения пикселя на эталонном изображении. Таким образом, предотвращается дополнительная интерполяция области заполнения.

Стадия 3: Уточнение прогнозирования яркости вычисляют по уравнению оптического потока.

где представляет собой разность между MV пикселя, вычисленным для положения пикселя сэмпла, обозначенного как , и MV подблока, к которому принадлежит пиксель, в горизонтальном направлении, а представляет собой разность между MV пикселя, вычисленным для положения пикселя сэмпла, обозначенного как , и MV подблока, к которому принадлежит пиксель, в вертикальном направлении.

На фиг. 6 показано, как MV каждого отдельного пикселя может отличаться от MV подблока.

Поскольку параметры аффинной модели и местоположение пикселя относительно центра подблока не изменяются от подблока к подблоку, может рассчитываться для первого подблока и повторно использоваться для других подблоков в рамках одной CU. Пусть x и y представляют собой горизонтальное и вертикальное смещение от положения пикселя до центра подблока, а значение может быть выведено с помощью следующего уравнения,

Для аффинной модели с 4 параметрами,

Для аффинной модели с 6 параметрами,

где , , представляют собой векторы движения верхней левой, верхней правой и нижней левой контрольных точек, а w и h представляют собой ширину и высоту CU.

Стадия 4: Наконец, уточнение прогнозирования яркости добавляется к прогнозированию подблоков . Окончательное прогнозирование I’ генерируется с использованием следующего уравнения.

Уточнение прогнозирования с помощью оптического потока на основе вектора движения

Далее приводится способ улучшения прогнозирования с компенсацией движения на уровне подблоков на основе уточнения вектора движения. После получения уточненного вектора движения (RMV) в рамках DMVR и выполнения компенсации движения на основе подблоков в соответствии с RMV пиксельная интенсивность уточняется путем добавления значения разности, полученного по уравнению оптического потока (ур. (13)), что в настоящем документе называется уточнением прогнозирования с помощью оптического потока на основе вектора движения (MVRPROF). Метод MVRPROF позволяет достигать гранулярности на уровне пикселей без значительного увеличения сложности, а также поддерживает сопоставимость наиболее неблагоприятной полосы пропускания доступа к памяти с обычной компенсацией движения на уровне подблоков на основе DMVR.

В настоящем изобретении предлагается метод MVPROF для улучшения гранулярности прогнозирования с компенсацией движения на уровне подблоков на основе DMVR путем изменения параметров пиксельной интенсивности, полученных из уравнения оптического потока. Этот способ требует только одного сеанса компенсации движения на подблок, характеристики которого совпадают с характеристиками существующей аффинной компенсации движения в VVC. В соответствии с примером осуществления на первой стадии уточненный вектор движения для каждого подблока в CU выводится посредством выполнения процесса DMVR, как описано в разделе 1.2 выше. За этим может следовать компенсация движения на основе подблоков для генерирования прогнозирования на основе подблоков, как описано в разделе 0 выше.

На второй стадии пространственные градиенты и прогнозирования подблоков рассчитываются в местоположении каждого сэмпла в соответствии с процессом, описанным в разделе 0.

На третьей стадии вычисляется смещение вектора движения в местоположении каждого сэмпла посредством выполнения процесса, описанного ниже:

Как показано на фиг. 7, в рамках текущей CU доступно множество смещений вектора движения. Для каждого подблока (например, текущего подблока на фиг. 7) в CU (кроме подблоков, расположенных на левой и/или верхней границах текущей CU) существуют три соседних подблока, для которых после DMVR доступно значение смещения MV. С учетом 4 смещений MV для 4 подблоков соответственно, как показано на фиг. 7, движение каждого подблока может быть представлено моделью движения с 6 параметрами, как показано ниже:

где и представляют собой горизонтальную и вертикальную составляющие одного смещения MV, а и представляют собой координаты X и Y местоположения центра соответствующего подблока. На основе известных смещений MV и местоположения центра каждого из четырех смежных подблоков (т.е. текущего подблока и трех вышеупомянутых соседних подблоков) параметры , , , , и могут быть рассчитаны с помощью линейного регрессионного моделирования по ур. (15) для всех четырех подблоков (8 уравнений в полных дифференциалах).

В одном варианте осуществления смещения MV и местоположения центра трех соседних подблоков могут использоваться для вычисления 6 параметров, тогда как четвертый (текущий) подблок может использоваться для оценки ошибки моделирования. В варианте осуществления, если ошибка моделирования больше предварительно заданного порогового значения, MVPROF может не применяться к текущему подблоку (т.е. четвертому подблоку).

В другом варианте осуществления все четыре подблока могут быть использованы для вычисления 6 параметров.

Учитывая аффинную модель движения, определенную в ур. (15) и параметры модели, вычисленные, как описано выше, смещение вектора движения в каждом местоположении сэмпла, принадлежащем одному подблоку, может рассчитываться следующим образом:

где i и представляют собой координаты X и Y каждого сэмпла/пикселя соответственно.

В некоторых случаях аффинная модель с 4 параметрами может аппроксимировать движение лучше, чем аффинная модель с 6 параметрами. Таким образом, аффинная модель с 4 параметрами может быть получена только с использованием смещений MV из двух подблоков (например, любых двух из четырех доступных смещений MV на фиг. 7) и других оставшихся смещений для целей проверки/оценки, если доступны другие смещения. В аффинной модели с 4 параметрами:

Для некоторых подблоков, например, расположенных на левой границе или верхней границе текущей CU, где может находиться только один соседний подблок, аффинная модель с 4 параметрами, как определено выше, может использоваться для выведения смещения вектора движения в местоположении каждого сэмпла.

На четвертой стадии изменение интенсивности яркости на пиксель в подблоке n CU рассчитывается по уравнению оптического потока:

где и представляют собой смещение MV и пространственный градиент соответственно в каждом местоположении сэмпла , которые уже были рассчитаны на предыдущих стадиях.

Наконец, прогнозирование для каждого списка эталонных изображений может быть уточнено путем добавления значения изменения интенсивности яркости. Окончательное прогнозирование I’ генерируется с использованием следующего уравнения.

Возможны многие варианты осуществления предлагаемого метода MVRPROF, в том числе следующие.

В одном альтернативном варианте осуществления при получении параметров модели , , , , и в соответствии с ур. (15) , рассматриваемые смещения MV могут не ограничиваться только четырьмя подблоками, показанными на фиг. 7, где рассматриваются только верхний левый, левый и верхний соседние подблоки. Также может рассматриваться большее количество потенциальных соседних подблоков, расположенных недалеко от текущего подблока. Например, MVPROF может использовать все смещения MV подблока для выведения одной аффинной модели движения для CU, а затем применять аффинную модель для выведения смещения MV на основе сэмплов для каждого сэмпла.

С другой стороны, при получении параметров модели в соответствии с ур. (15) и оценке ошибок моделирования для оценки точности моделирования может быть установлен конфигурируемый или адаптивный порог ошибок. В рамках одного примера может оцениваться множество моделей, в том числе модели с 6 параметрами и 4 параметрами, и модель с самыми низкими ошибками L1 или L2 может быть выбрана для выведения Δv(i,j) в каждом местоположении сэмпла, где L1 представляет собой взвешенную сумму абсолютной разности (SAD), а L2 представляет собой взвешенную сумму квадратной разности (SSD).

В одном примере осуществления при оценке ошибок моделирования может учитываться взвешенная разность L1 или L2 (например, смещения MV разных соседних подблоков могут иметь различные весовые коэффициенты).

В другом примере осуществления, если для выведения модели движения используют только четыре смещения MV, ошибка моделирования может оцениваться перед выведением модели для снижения вычислительной сложности (поскольку оценка модели движения может пропускаться при большом размере значения ошибки моделирования). Например, сначала может быть вычислена сумма двух смещений MV в двух диагональных направлениях, а разность двух сумм может быть использована для расчета ошибки моделирования. Например, на фиг. 7 может быть вычислена сумма MV_off(x-1, y-1) и MV_off(x, y) и сумма MV_off(x, y-1) и MV_off(x-1, y) соответственно. Разницу между этими двумя суммами можно использовать для представления ошибки моделирования.

В еще одном примере осуществления, когда для вычисления параметров модели используют множество соседних смещений MV, коэффициент пропорциональности подблока может быть равным значению текущего подблока. В альтернативном варианте могут использоваться различные коэффициенты пропорциональности.

В дополнительном варианте, когда для вычисления параметров модели используют множество смещений соседнего MV, размеры соседних подблоков могут быть равными размерам текущего подблока. В альтернативном варианте осуществления могут использоваться соседние подблоки разных размеров.

Кроме того, в примерах осуществления, описанных выше в настоящем документе, MVPPROF работает таким образом, что каждый подблок в текущей CU независимо выводит параметры модели, и сэмплы в одном подблоке имеют одинаковые параметры модели, но сэмплы из разных подблоков в текущей CU могут не иметь общих параметров модели. Однако в другом варианте осуществления параметры модели могут быть выведены только один раз, а все сэмплы в текущей CU имеют общие параметры.

Кроме того, в одном варианте ур. (19), разность интенсивностей, полученная из ур. (18), может умножаться на весовой коэффициент w перед его добавлением к прогнозированию, как показано в приведенном ниже уравнении:

где w установлено равным значению от 0 до 1 включительно. Значение w может быть передано на уровне CU или уровне изображения. Например, w может быть сигнализировано индексом весового коэффициента.

Метод MVRPROF можно использовать после объединения прогнозирования L0 и прогнозирования L1 на основе DMVR с весовыми коэффициентами. В альтернативном варианте осуществления метод MVRPROF может применяться к одному прогнозированию, например, к L0 или L1. Например, в одном варианте осуществления метод MVRPROF может применяться к одному прогнозированию (L0 или L1), которое ближе к текущему изображению во временной области.

Примеры сетей для реализации вариантов осуществления

На фиг. 8A представлена схема, иллюстрирующая пример системы 100 связи, в которой могут быть реализованы один или более описанных вариантов осуществления. Система 100 связи может представлять собой систему множественного доступа, от которой множество пользователей беспроводной связи получают содержимое, такое как голосовая информация, данные, видео, обмен сообщениями, широковещание и т.п. Система 100 связи может быть выполнена с возможностью предоставления множеству пользователей беспроводной связи доступа к такому содержимому посредством совместного использования системных ресурсов, включая ширину полосы пропускания беспроводного соединения. Например, в системах 100 связи может быть использован один или более способов доступа к каналу, таких как множественный доступ с кодовым разделением каналов (CDMA), множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с ортогональным частотным разделением каналов (OFDMA), FDMA с одной несущей (SC-FDMA), расширенное OFDM с безызбыточным расширенным дискретным преобразованием Фурье (DFT) с синхропакетом (ZT UW DTS-s OFDM), OFDM с синхропакетом (UW-OFDM), OFDM с фильтрацией ресурсного блока, блок фильтров с несколькими несущими (FBMC) и т.п.

Как показано на фиг. 8A, система 100 связи может включать в себя модули 102a, 102b, 102c, 102d беспроводной передачи/приема (WTRU), RAN 104/113, CN 106/115, коммутируемую телефонную сеть 108 общего пользования (PSTN), сеть Интернет 110 и другие сети 112, хотя следует понимать, что в описанных вариантах осуществления предполагается возможность применения любого количества WTRU, базовых станций, сетей и/или элементов сети. Каждый из WTRU 102a, 102b, 102c, 102d может представлять собой устройство любого типа, выполненное с возможностью функционирования и/или взаимодействия в среде беспроводной связи. Например, WTRU 102a, 102b, 102c, 102d, любой из которых может называться станцией и/или STA, могут быть выполнены с возможностью передачи и/или приема радиосигналов и могут включать в себя оборудование пользователя (UE), мобильную станцию, стационарный или мобильный абонентский модуль, абонентский модуль, пейджер, сотовый телефон, карманный персональный компьютер (PDA), смартфон, ноутбук, нетбук, персональный компьютер, беспроводной датчик, точку доступа или устройство Mi-Fi, устройство Интернета физических объектов (IoT), часы или другие носимые устройства, наголовный дисплей (HMD), транспортное средство, беспилотный радиоуправляемый летательный аппарат, медицинское устройство и приложения (например, применяемые в дистанционной хирургии), промышленное устройство и приложения (например, робот и/или другие беспроводные устройства, работающие в условиях промышленной и/или автоматизированной технологической цепочки), устройство, относящееся к бытовой электронике, устройство, работающее в коммерческой и/или промышленной беспроводной сети, и т.п. Любой из WTRU 102a, 102b, 102c и 102d можно взаимозаменяемо называть UE.

Система 100 связи может также включать в себя базовую станцию 114a и/или базовую станцию 114b. Каждая из базовых станций 114a, 114b может представлять собой устройство любого типа, выполненное с возможностью беспроводного взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d для облегчения доступа к одной или более сетям связи, таким как CN 106/115, сеть Интернет 110 и/или другие сети 112. В качестве примера базовые станции 114a, 114b могут представлять собой базовые приемопередающие станции (BTS), станции Node-B, станции eNode B, станции Home Node B, станции Home eNode B, базовую станцию следующего поколения (gNB), NodeB на основании NR, контроллер пункта связи, точку доступа (AP), беспроводной маршрутизатор и т.п. Хотя каждая из базовых станций 114a, 114b показана как отдельный элемент, следует понимать, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или сетевых элементов.

Базовая станция 114a может быть частью RAN 104/113, которая может также включать в себя другие базовые станции и/или элементы сети (не показаны), такие как контроллер базовой станции (BSC), контроллер радиосети (RNC), ретрансляционные узлы и т.п. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема радиосигналов на одной или более несущих частотах, которые могут называться сотой (не показана). Эти частоты могут относиться к лицензированному спектру, нелицензированному спектру или к сочетанию лицензированного и нелицензированного спектров. Сота может обеспечивать покрытие для беспроводного сервиса в конкретной географической зоне, которая может быть относительно фиксированной или которая может изменяться со временем. Сота может быть дополнительно разделена на сектора соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления базовая станция 114a может включать в себя три приемопередатчика, т.е. по одному для каждого сектора соты. В варианте осуществления в базовой станции 114a может быть использована технология «множественный вход — множественный выход» (MIMO) и может быть задействовано множество приемопередатчиков для каждого сектора соты. Например, для передачи и/или приема сигналов в требуемых пространственных направлениях можно использовать формирование лучей.

Базовые станции 114a, 114b могут обмениваться данными с одним или более из WTRU 102a, 102b, 102c, 102d посредством радиоинтерфейса 116, который может представлять собой любую подходящую систему беспроводной связи (например, для передачи сигналов в радиочастотном (РЧ), микроволновом спектре, спектре сантиметровых волн, спектре микрометровых волн, инфракрасном (ИК), ультрафиолетовом (УФ) спектре, спектре видимого света и т.д.). Радиоинтерфейс 116 может быть установлен с использованием любой подходящей технологии радиодоступа (RAT).

Более конкретно, как указано выше, система 100 связи может представлять собой систему множественного доступа, и в ней можно использовать одну или более схем доступа к каналу, например CDMA, TDMA, FDMA, OFDMA, SC-FDMA и т.п. Например, в базовой станции 114a в RAN 104/113 и WTRU 102a, 102b, 102c может быть реализована технология радиосвязи, такая как универсальный наземный доступ (UTRA) для универсальной системы мобильной связи (UMTS), в которой может быть установлен радиоинтерфейс 115/116/117 с использованием широкополосного CDMA (WCDMA). WCDMA может включать в себя протоколы связи, такие как высокоскоростной пакетный доступ (HSPA) и/или усовершенствованный HSPA (HSPA+). Протокол HSPA может включать в себя высокоскоростной пакетный доступ по нисходящей (DL) линии связи (HSDPA) и/или высокоскоростной пакетный доступ по восходящей (UL) линии связи (HSUPA).

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализована такая технология радиосвязи, как усовершенствованная сеть наземного радиодоступа UMTS (E-UTRA), которая может устанавливать радиоинтерфейс 116 с использованием стандарта долгосрочного развития сетей связи (LTE), и/или LTE-Advanced (LTE-A), и/или LTE-Advanced Pro (LTE-A Pro).

В варианте осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как новая технология радиодоступа (NR Radio Access), которая может устанавливать радиоинтерфейс 116 с использованием технологии New Radio (NR).

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализовано множество технологий радиодоступа. Например, в совокупности в базовой станции 114a и WTRU 102a, 102b, 102c могут быть реализованы технологии радиодоступа LTE и NR, например, с использованием принципов двойного подключения (DC). Таким образом, радиоинтерфейс, используемый WTRU 102a, 102b, 102c, может характеризоваться использованием множества типов технологий радиодоступа и/или передачами, отправляемыми на базовые станции/с базовых станций, множества типов (например, eNB и gNB).

В других вариантах осуществления в базовой станции 114a и WTRU 102a, 102b, 102c могут быть реализованы технологии радиосвязи, такие как IEEE 802.11 (т.е. WiFi), IEEE 802.16 (т.е. технология широкополосного доступа в микроволновом диапазоне (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, временный стандарт 2000 (IS-2000), временный стандарт 95 (IS-95), временный стандарт 856 (IS-856), глобальная система мобильной связи (GSM), развитие стандарта GSM с увеличенной скоростью передачи данных (EDGE), GSM EDGE (GERAN) и т.п.

Базовая станция 114b, показанная на ФИГ. 8A, может представлять собой, например, беспроводной маршрутизатор, станцию Home Node B, станцию Home eNode B или точку доступа, и в ней может быть использована любая подходящая RAT для облегчения обеспечения беспроводной связи в локализованной зоне, такой как коммерческое предприятие, жилое помещение, транспортное средство, учебное заведение, промышленный объект, воздушный коридор (например, для использования беспилотными радиоуправляемыми летательными аппаратами), проезжая часть и т.п. В одном варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.11, для создания беспроводной локальной сети (WLAN). В варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.15, для создания беспроводной персональной сети (WPAN). В еще одном варианте осуществления в базовой станции 114b и WTRU 102c, 102d можно использовать RAT на основе сот (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR и т.п.) для создания пикосоты или фемтосоты. Как показано на фиг. 8A, базовая станция 114b может иметь прямое соединение с сетью Интернет 110. Таким образом, для базовой станции 114b может не требоваться доступа к сети Интернет 110 посредством CN 106/115.

RAN 104/113 может обмениваться данными с CN 106/115, которая может представлять собой сеть любого типа, выполненную с возможностью предоставления услуг передачи голосовой информации, данных, приложений и/или голосовой связи по протоколу (VoIP) сети Интернет одному или более из WTRU 102a, 102b, 102c, 102d. К данным могут предъявляться различные требования по качеству обслуживания (QoS), например различные требования по производительности, требования к задержке, требования к отказоустойчивости, требования к надежности, требования к скорости передачи данных, требования к мобильности и т.п. Сеть CN 106/115 может предоставлять управление вызовами, услуги биллинга, услуги мобильной связи на основании местоположения, предварительно оплаченные вызовы, возможность связи с сетью Интернет, распределение видеосигналов и т.п. и/или выполнять функции высокоуровневой защиты, такие как аутентификация пользователей. Хотя на фиг. 8A это не показано, следует понимать, что RAN 104/113 и/или CN 106/115 могут прямо или косвенно обмениваться данными с другими RAN, в которых задействована такая же RAT, что и в RAN 104/113, или другая RAT. Например, в дополнение к соединению с RAN 104/113, в которой может быть использована технология радиосвязи NR, CN 106/115 может также обмениваться данными с другой RAN (не показана), использующей технологию радиосвязи GSM, UMTS, CDMA 2000, WiMAX, E-UTRA или WiFi.

CN 106/115 может также выступать в качестве шлюза для WTRU 102a, 102b, 102c, 102d, чтобы обеспечивать доступ к сети PSTN 108, сети Интернет 110 и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют традиционные услуги телефонной связи (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которые используют распространенные протоколы связи, такие как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP) и/или протокол Интернета (IP) в наборе протоколов Интернета TCP/IP. Сети 112 могут включать в себя проводные и/или беспроводные сети связи, которые принадлежат другим поставщикам услуг и/или управляются ими. Например, сети 112 могут включать в себя другую CN, соединенную с одной или более RAN, в которых может быть использована такая же RAT, как и в RAN 104/113, или другая RAT.

Некоторые или все из WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности (например, WTRU 102a, 102b, 102c, 102d могут включать в себя множество приемопередатчиков для связи с разными беспроводными сетями по разным беспроводным линиям связи). Например, WTRU 102c, показанный на фиг. 8A, может быть выполнен с возможностью взаимодействия с базовой станцией 114a, которая может использовать технологию радиосвязи на основе сот, а также с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

На фиг. 8B представлена схема системы, иллюстрирующая пример WTRU 102. Как показано на фиг. 8B, WTRU 102 может включать в себя, помимо прочего, процессор 118, приемопередатчик 120, передающий/приемный элемент 122, динамик/микрофон 124, клавиатуру 126, дисплей/сенсорную панель 128, несъемное запоминающее устройство 130, съемное запоминающее устройство 132, источник 134 питания, набор 136 микросхем глобальной системы определения местоположения (GPS) и/или другие периферийные устройства 138. Следует понимать, что WTRU 102 может включать в себя любую подкомбинацию вышеперечисленных элементов и при этом соответствовать варианту осуществления.

Процессор 118 может представлять собой процессор общего назначения, процессор специального назначения, традиционный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные схемы (ASIC), схемы программируемых пользователем вентильных матриц (FPGA), интегральную схему (IC) любого другого типа, конечный автомат и т.п. Процессор 118 может выполнять кодирование сигналов, обработку данных, управление мощностью, обработку ввода/вывода и/или иметь любые другие функциональные возможности, необходимые WTRU 102 для функционирования в среде беспроводной связи. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть соединен с передающим/приемным элементом 122. Хотя на фиг. 8B процессор 118 и приемопередатчик 120 показаны в виде отдельных компонентов, следует понимать, что процессор 118 и приемопередатчик 120 могут быть выполнены как единое целое и встроены в электронный блок или микросхему.

Передающий/приемный элемент 122 может быть выполнен с возможностью передачи сигналов на базовую станцию (например, базовую станцию 114a) или приема от нее сигналов по радиоинтерфейсу 116. Например, в одном варианте осуществления передающий/приемный элемент 122 может представлять собой антенну, выполненную с возможностью передачи и/или приема РЧ-сигналов. В варианте осуществления передающий/приемный элемент 122 может представлять собой излучатель/детектор, выполненный с возможностью передачи и/или приема, например, сигналов в ИК-, УФ-спектре или спектре видимого света. В еще одном варианте осуществления передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема сигналов как в РЧ-спектре, так и в спектре видимого света. Следует понимать, что передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема любой комбинации радиосигналов.

Хотя на фиг. 8B передающий/приемный элемент 122 показан в виде единственного элемента, WTRU 102 может включать в себя любое количество передающих/приемных элементов 122. Более конкретно, в WTRU 102 может быть использована технология MIMO. Таким образом, в одном варианте осуществления WTRU 102 может включать в себя два или более передающих/приемных элементов 122 (например, множество антенн) для передачи и приема радиосигналов по радиоинтерфейсу 116.

Приемопередатчик 120 может быть выполнен с возможностью модуляции сигналов, передаваемых посредством передающего/приемного элемента 122, а также демодуляции сигналов, принятых посредством передающего/приемного элемента 122. Как указано выше, WTRU 102 может иметь многорежимные возможности. Таким образом, приемопередатчик 120 может включать в себя множество приемопередатчиков, с помощью которых WTRU 102 получает возможность взаимодействия посредством множества RAT, таких как, например, NR и IEEE 802.11.

Процессор 118 WTRU 102 может быть соединен с динамиком/микрофоном 124, клавиатурой 126 и/или дисплеем/сенсорной панелью 128 (например, жидкокристаллическим дисплеем (LCD) или дисплеем на органических светодиодах (OLED)) и может принимать от них данные, вводимые пользователем. Процессор 118 может также выводить пользовательские данные на динамик/микрофон 124, клавиатуру 126 и/или дисплей/сенсорную панель 128. Кроме того, процессор 118 может иметь доступ к информации с подходящего запоминающего устройства любого типа, такого как несъемное запоминающее устройство 130 и/или съемное запоминающее устройство 132, и хранить на нем данные. Несъемное запоминающее устройство 130 может включать в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск или запоминающее устройство любого другого типа. Съемное запоминающее устройство 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, защищенную цифровую карту памяти (SD) и т.п. В других вариантах осуществления процессор 118 может осуществлять доступ к информации с запоминающего устройства, которое физически размещено не в WTRU 102, а, например, на сервере или домашнем компьютере (не показан), и хранить на нем данные.

Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью управления питанием и/или распределения питания на другие компоненты в WTRU 102. Источник 134 питания может представлять собой любое подходящее устройство для подачи питания на WTRU 102. Например, источник 134 питания может включать в себя одну или более сухих батарей (например, никель-кадмиевых (NiCd), никель-цинковых (NiZn), никель-металл-гидридных (NiMH), литий-ионных (Li-ion) и т.п.), солнечных элементов, топливных элементов и т.п.

Процессор 118 может также быть соединен с набором 136 микросхем GPS, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготы и широты) относительно текущего местоположения WTRU 102. Дополнительно или вместо информации от набора 136 микросхем GPS модуль WTRU 102 может принимать информацию о местоположении по радиоинтерфейсу 116 от базовой станции (например, от базовых станций 114a, 114b) и/или определять свое местоположение на основании синхронизации сигналов, принимаемых от двух или более соседних базовых станций. Следует понимать, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения и при этом соответствовать варианту осуществления.

Процессор 118 может быть дополнительно соединен с другими периферийными устройствами 138, которые могут включать в себя один или более программных и/или аппаратных модулей, которые обеспечивают дополнительные признаки, функциональные возможности и/или возможности по установлению проводной или беспроводной связи. Например, периферийные устройства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фото- и/или видеосъемки), порт универсальной последовательной шины (USB), вибрационное устройство, телевизионный приемопередатчик, беспроводную гарнитуру, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль для воспроизведения видеоигр, Интернет-браузер, устройство виртуальной реальности и/или дополненной реальности (VR/AR), трекер активности и т.п. Периферийные устройства 138 могут включать в себя один или более датчиков, причем датчики могут представлять собой один или более из гироскопа, акселерометра, датчика Холла, магнитометра, датчика ориентации, датчика приближения, датчика температуры, датчика времени; датчика географического положения; высотомера, датчика освещенности, датчика касания, магнитометра, барометра, датчика жеста, биометрического датчика и/или датчика влажности.

WTRU 102 может включать в себя полнодуплексное радиоустройство, для которого передача и прием некоторых или всех сигналов, например, связанных с конкретными подкадрами как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема), могут быть осуществлены совместно и/или одновременно. Полнодуплексное радиоустройство может включать в себя блок управления помехами для снижения уровня и/или по существу устранения собственных помех с помощью либо аппаратного обеспечения (например, дросселя), либо обработки сигнала с помощью процессора (например, отдельного процессора (не показан) или процессора 118). В варианте осуществления WRTU 102 может содержать полудуплексное радиоустройство для передачи и приема некоторых или всех сигналов (например, связанных с конкретными подкадрами либо для UL (например, для передачи), либо для нисходящей линии связи (например, для приема)).

На фиг. 8C представлена схема системы, иллюстрирующая RAN 104 и CN 106 в соответствии с вариантом осуществления. Как отмечено выше, RAN 104 может использовать технологию радиосвязи E-UTRA для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 104 может также обмениваться данными с CN 106.

RAN 104 может включать в себя eNode-B 160a, 160b, 160c, хотя следует понимать, что сеть RAN 104 может включать в себя любое количество eNode-B и при этом соответствовать варианту осуществления. Каждая eNode-B 160a, 160b, 160c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления в eNode B 160a, 160b, 160c может быть реализована технология MIMO. Таким образом, в eNode-B 160a может, например, быть использовано множество антенн для передачи радиосигналов на WTRU 102a и/или приема радиосигналов от него.

Каждая eNode-B 160a, 160b, 160c может быть связана с конкретной сотой (не показана) и может быть выполнена с возможностью принятия решений по управлению радиоресурсами, решений по передаче обслуживания, диспетчеризации пользователей в UL и/или DL и т.п. Как показано на фиг. 8C, eNode-B 160a, 160b, 160c могут обмениваться данными друг с другом по интерфейсу X2.

CN 106, показанная на фиг. 8C, может включать в себя объект 162 управления мобильностью (MME), обслуживающий шлюз 164 (SGW) и шлюз 166 (или PGW) сети с пакетной передачей данных (PDN). Хотя каждый из вышеперечисленных элементов показан как часть CN 106, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для применения.

MME 162 может быть подключен к каждой из eNode-B 160a, 160b, 160c в RAN 104 по интерфейсу S1 и может выступать в качестве узла управления. Например, MME 162 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию канала, выбор конкретного обслуживающего шлюза во время начального соединения WTRU 102a, 102b, 102c и т.п. MME 162 может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как GSM и/или WCDMA.

SGW 164 может быть подключен к каждой eNode B 160a, 160b, 160c в RAN 104 по интерфейсу S1. SGW 164 может по существу направлять и пересылать пакеты пользовательских данных на WTRU 102a, 102b, 102c и от них. SGW 164 может выполнять другие функции, например привязку плоскостей пользователя во время передачи обслуживания между базовыми станциями eNode B, запуск пейджинга, когда данные DL доступны для WTRU 102a, 102b, 102c, управление и хранение контекста WTRU 102a, 102b, 102c и т.п.

SGW 164 может быть подключен к PGW 166, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой IP.

CN 106 может облегчать обмен данными с другими сетями. Например, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, для облегчения обмена данными между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. Например, CN 106 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 106 и PSTN 108, либо может обмениваться данными с ним. Кроме того, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или управляются ими.

Хотя WTRU описан на фиг. 1A–1D как беспроводной терминал, в определенных типовых вариантах осуществления предполагается, что с таким терминалом может быть использован (например, временно или постоянно) проводной интерфейс связи с сетью связи.

В типовых вариантах осуществления другая сеть 112 может представлять собой WLAN.

WLAN в режиме базового набора служб (BSS) инфраструктуры может иметь точку доступа (АР) для BSS и одну или более станций (STA), связанных с АР. АР может иметь доступ к системе распределения (DS) или интерфейс с ней или осуществлять связь по проводной/беспроводной сети другого типа, которая переносит трафик в BSS и/или вне BSS. Трафик на станции STA, исходящий извне BSS, может поступать через AP и может быть доставлен на станции STA. Трафик, исходящий из станций STA к получателям вне BSS, может быть отправлен на АР для доставки соответствующим получателям. Трафик между станциями STA в пределах BSS может быть отправлен через АР, например, если STA-источник может отправлять трафик на АР, а АР может доставлять трафик STA-получателю. Трафик между STA в пределах BSS может считаться и/или называться одноранговым трафиком. Одноранговый трафик может быть передан между (например, непосредственно между) STA-источником и STA-получателем при установлении прямой линии связи (DLS). В определенных типовых вариантах осуществления DLS может использовать DLS 802.11e или туннелированное DLS 802.11z (TDLS). WLAN с использованием независимого BSS (IBSS) режима может не иметь АР, а STA (например, каждая STA) в пределах или с использованием IBSS могут осуществлять связь непосредственно друг с другом. В настоящем документе режим IBSS может иногда называться режимом «динамической» связи.

При использовании режима работы инфраструктуры 802.11ac или аналогичного режима работы AP может передавать маяк по фиксированному каналу, такому как первичный канал. Первичный канал может иметь фиксированную ширину (например, ширину полосы пропускания 20 МГц) или ширину, динамически установленную с помощью сигнализации. Первичный канал может представлять собой рабочий канал BSS и может быть использован множеством STA для установления соединения с АР. В определенных типовых вариантах осуществления может быть реализован множественный доступ с контролем несущей и предотвращением коллизий (CSMA/CA), например в системах 802.11. STA (например, каждая STA), включая АР, могут обнаруживать первичный канал для CSMA/CA. При распознавании/обнаружении и/или определении занятости первичного канала конкретной STA эта конкретная STA может отключаться. Одна STA (например, только одна станция) может осуществлять передачу в любой конкретный момент времени в данном BSS.

Для осуществления связи STA с высокой пропускной способностью (HT) может быть использован канал шириной 40 МГц, например путем объединения первичного канала 20 МГц со смежным или несмежным каналом 20 МГц с образованием канала шириной 40 МГц.

STA со сверхвысокой пропускной способностью (VHT) могут поддерживать каналы шириной 20 МГц, 40 МГц, 80 МГц и/или 160 МГц. Каналы 40 МГц и/или 80 МГц могут быть образованы путем объединения сплошных каналов 20 МГц. Канал 160 МГц может быть образован путем объединения 8 сплошных каналов 20 МГц или путем объединения двух несплошных каналов 80 МГц, которые могут называться конфигурацией 80 + 80. Для конфигурации 80 + 80 данные после кодирования канала могут проходить через анализатор сегментов, который может разделять данные на два потока. Обработку по методу обратного быстрого преобразования Фурье (IFFT) и обработку во временной области можно выполнять отдельно для каждого потока. Потоки могут быть сопоставлены с двумя каналами 80 МГц, а данные могут быть переданы посредством передающей STA. В приемнике принимающей STA вышеописанная операция для конфигурации 80 + 80 может быть инвертирована, а объединенные данные могут быть отправлены на устройство управления доступом к среде передачи данных (MAC).

Протоколы 802.11af и 802.11ah поддерживают режимы работы на частотах до 1 ГГц. В 802.11af и 802.11ah значения ширины полосы пропускания канала и несущие уменьшены по отношению к используемым в 802.11n и 802.11ac. Протокол 802.11af поддерживает значения ширины полосы пропускания 5 МГц, 10 МГц и 20 МГц в неиспользуемом частотном спектре телевидения (TVWS), а протокол 802.11ah поддерживает значения ширины полосы пропускания 1 МГц, 2 МГц, 4 МГц, 8 МГц и 16 МГц с использованием спектра, отличного от TVWS. Согласно типовому варианту осуществления 802.11ah может поддерживать управление с измерением / межмашинные связи, например устройства MTC в макрозоне покрытия. Устройства MTC могут обладать определенными возможностями, например ограниченными возможностями, включая поддержку (например, поддержку только) определенных и/или ограниченных значений ширины полосы пропускания. Устройства МТС могут включать в себя батарею, имеющую срок службы батареи, превышающий пороговое значение (например, для обеспечения очень длительного срока службы батареи).

Системы WLAN, которые могут поддерживать множество каналов и значений ширины полосы пропускания канала, такие как 802.11n, 802.11ac, 802.11af и 802.11ah, включают в себя канал, который может быть назначен в качестве первичного канала. Первичный канал может иметь ширину полосы пропускания, равную наибольшей общей рабочей ширине полосы пропускания, поддерживаемой всеми STA в BSS. Ширина полосы пропускания первичного канала может быть установлена и/или ограничена STA из числа всех STA, работающих в BSS, которая поддерживает режим работы с наименьшей шириной полосы пропускания. В примере 802.11ah первичный канал может иметь ширину 1 МГц для STA (например, устройств типа MTC), которые поддерживают (например, поддерживают только) режим 1 МГц, даже если AP и другие STA в BSS поддерживают 2 МГц, 4 МГц, 8 МГц, 16 МГц и/или режимы работы с другими значениями ширины полосы пропускания канала. Параметры обнаружения несущей и/или вектора выделения сети (NAV) могут зависеть от состояния первичного канала. Если первичный канал занят, например, из-за STA (в которой поддерживается только режим работы 1 МГц), осуществляющей передачу на AP, все доступные полосы частот могут считаться занятыми, даже если большинство полос частот все еще не заняты и могут быть доступными.

В Соединенных Штатах Америки доступные полосы частот, которые могут быть использованы 802.11ah, находятся в диапазоне от 902 МГц до 928 МГц. Доступные полосы частот в Корее — от 917,5 МГц до 923,5 МГц. Доступные полосы частот в Японии — от 916,5 МГц до 927,5 МГц. Общая ширина полосы пропускания, доступная для 802.11ah, составляет от 6 МГц до 26 МГц в зависимости от страны.

На фиг. 8D представлена схема системы, иллюстрирующая RAN 113 и CN 115 в соответствии с вариантом осуществления. Как отмечено выше, RAN 113 может использовать технологию радиосвязи NR для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 113 может также обмениваться данными с CN 115.

RAN 113 может включать в себя gNB 180a, 180b, 180c, хотя следует понимать, что RAN 113 может включать в себя любое количество gNB и при этом соответствовать варианту осуществления. Каждая gNB 180a, 180b, 180c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления в gNB 180a, 180b, 180c может быть реализована технология MIMO. Например, gNB 180a, 180b могут использовать формирование лучей для передачи сигналов на gNB 180a, 180b, 180c и/или приема сигналов от них. Таким образом, gNB 180a, например, может использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема радиосигналов от него. В варианте осуществления на gNB 180a, 180b, 180c может быть реализована технология агрегирования несущих. Например, gNB 180a может передавать на WTRU 102a множество несущих составляющих (не показаны). Подмножество этих несущих составляющих может относиться к нелицензированному спектру, тогда как остальные несущие составляющие могут относиться к лицензированному спектру. В варианте осуществления на gNB 180a, 180b, 180c может быть реализована технология координированной многоточечной передачи (CoMP). Например, WTRU 102a может принимать координированные передачи от gNB 180a и gNB 180b (и/или gNB 180c).

WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием передач, связанных с масштабируемой численной величиной. Например, разнос символов OFDM и/или разнос поднесущих OFDM может различаться для разных передач, разных сот и/или разных участков спектра беспроводной передачи. WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием подкадра или временных интервалов передачи (TTI) с различной или масштабируемой длительностью (например, содержащих различное количество символов OFDM и/или имеющих постоянные различные длительности абсолютного значения времени).

gNB 180a, 180b, 180c могут быть выполнены с возможностью обмена данными с WTRU 102a, 102b, 102c в автономной конфигурации и/или в неавтономной конфигурации. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c без одновременного доступа к другим RAN (например, таким как eNode-B 160a, 160b, 160c). В автономной конфигурации WTRU 102a, 102b, 102c могут использовать одну или более gNB 180a, 180b, 180c в качестве якорной точки мобильности. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием сигналов в нелицензированной полосе. В неавтономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными/устанавливать соединение с gNB 180a, 180b, 180c и одновременно обмениваться данными/устанавливать соединение с другой RAN, такой как eNode-B 160a, 160b, 160c. Например, в WTRU 102a, 102b, 102c могут быть реализованы принципы двойного соединения (DC) для по существу одновременного обмена данными с одной или более gNB 180a, 180b, 180c и одной или более eNode-B 160a, 160b, 160c. В неавтономной конфигурации eNode-B 160a, 160b, 160c могут выступать в качестве якорной точки мобильности для WTRU 102a, 102b, 102c, а gNB 180a, 180b, 180c могут обеспечивать дополнительное покрытие и/или пропускную способность для обслуживания WTRU 102a, 102b, 102с.

Каждая из gNB 180a, 180b, 180c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, планирования пользователей в UL и/или DL, поддержки сегментирования сети, двойного подключения, взаимодействия между NR и E-UTRA, маршрутизации данных плоскости пользователя в функциональный блок 184a, 184b плоскости пользователя (UPF), маршрутизации информации плоскости управления в функциональный блок 182a, 182b управления доступом и мобильностью (AMF) и т.п. Как показано на фиг. 8D, gNB 180a, 180b, 180c могут обмениваться данными друг с другом по интерфейсу Xn.

CN 115, показанная на фиг. 8D, может включать в себя по меньшей мере один AMF 182a, 182b, по меньшей мере один UPF 184a, 184b, по меньшей мере один функциональный блок 183a, 183b управления сеансом (SMF) и, возможно, сеть 185a, 185b передачи данных (DN). Хотя каждый из вышеперечисленных элементов показан как часть CN 115, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для применения.

AMF 182a, 182b могут быть подключены к одной или более из gNB 180a, 180b, 180c в RAN 113 по интерфейсу N2 и могут выступать в качестве узла управления. Например, AMF 182a, 182b может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, поддержку сегментирования сети (например, обработку различных сеансов PDU с различными требованиями), выбор конкретного SMF 183a, 183b, управление зоной регистрации, прекращение сигнализации NAS, управление мобильностью и т.п. Сегментирование сети может быть использовано в AMF 182a, 182b для настройки поддержки CN для WTRU 102a, 102b, 102c на основании используемых типов сервисов. Например, разные сетевые срезы могут быть созданы для разных вариантов использования, например службы, основанные на связи повышенной надежности с низкой задержкой (URLLC), службы, основанные на доступе к расширенной широкополосной сети мобильной связи (eMBB), службы для доступа к межмашинной связи (MTC) и/или т.п. AMF 182 может предоставлять функцию плоскости управления для переключения между RAN 113 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как LTE, LTE-A, LTE-A Pro, и/или технологии доступа, отличные от 3GPP, например WiFi.

SMF 183a, 183b может быть подключен к AMF 182a, 182b в CN 115 по интерфейсу N11. SMF 183a, 183b может также быть подключен к UPF 184a, 184b в CN 115 по интерфейсу N4. SMF 183a, 183b могут выбирать UPF 184a, 184b и управлять ими, а также конфигурировать маршрутизацию трафика с помощью UPF 184a, 184b. SMF 183a, 183b может выполнять другие функции, такие как управление IP-адресом UE и его выделение, управление сеансами PDU, управление реализацией политики и QoS, предоставление уведомлений о данных нисходящей линии связи и т.п. Тип сеанса PDU может быть основан на IP, не основан на IP, основан на Ethernet и т.п.

UPF 184a, 184b могут быть подключены к одной или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N3, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP. UPF 184a, 184b могут выполнять другие функции, такие как маршрутизация и передача пакетов, применение политик в плоскости пользователя, поддержка многоканальных сеансов PDU, обработка QoS в плоскости пользователя, буферизация пакетов нисходящей линии связи, привязка для поддержки мобильности и т.п.

CN 115 может облегчать обмен данными с другими сетями. Например, CN 115 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 115 и PSTN 108, или может обмениваться данными с ним. Кроме того, CN 115 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или управляются ими. В одном варианте осуществления WTRU 102a, 102b, 102c могут быть подключены к локальной сети передачи данных (DN) 185a, 185b через UPF 184a, 184b по интерфейсу N3 к UPF 184a, 184b и интерфейсу N6 между UPF 184a, 184b и DN 185a, 185b.

С учетом фиг. 8A-8D и соответствующих описаний фиг. 8A–8D одна или более или все из функций, описанных в настоящем документе в связи с одним или более из: WTRU 102a–d, базовых станций 114а–b, eNode-B 160a–c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b и/или любого (-ых) другого (-их) устройства (устройств), описанного (-ых) в настоящем документе, могут быть реализованы одним или более устройствами эмуляции (не показаны). Устройства эмуляции могут представлять собой одно или более устройств, выполненных с возможностью эмуляции одной или более или всех функций, описанных в настоящем документе. Например, устройства эмуляции можно применять для испытания других устройств и/или для моделирования функций сети и/или WTRU.

Устройства эмуляции могут быть выполнены с возможностью реализации одного или более испытаний других устройств в лабораторной среде и/или в сетевой среде оператора. Например, одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они полностью или частично реализованы и/или развернуты в качестве части проводной и/или беспроводной сети связи, для испытания других устройств в сети связи. Одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они временно реализованы/развернуты в качестве части проводной и/или беспроводной сети связи. Устройство эмуляции может быть непосредственно соединено с другим устройством для испытания и/или выполнения испытания с использованием беспроводной связи посредством канала беспроводной связи.

Одно или более устройств эмуляции могут выполнять одну или более функций, включая все функции, и при этом не быть реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Например, устройства эмуляции можно использовать в сценарии испытания в испытательной лаборатории и/или в неразвернутой (например, испытательной) проводной и/или беспроводной сети связи для проведения испытания одного или более компонентов. Одно или более устройств эмуляции могут представлять собой испытательное оборудование. Для передачи и/или приема данных в устройствах эмуляции можно использовать прямое РЧ-соединение и/или беспроводные связи посредством РЧ-схемы (которая может, например, включать в себя одну или более антенн).

На фиг. 9 представлена схема системы, иллюстрирующая систему, реализующую различные аспекты и операции в соответствии с вариантами осуществления.

Как показано на фиг. 9, система 1000 может быть реализована в виде устройства, включающего в себя различные компоненты, описанные ниже, и выполнена с возможностью выполнения одного или более действий, описанных в настоящем документе. Примерами таких устройств являются, без ограничений, различные электронные устройства, такие как персональные компьютеры, ноутбуки, смартфоны, планшетные компьютеры, телевизионные приставки, цифровые телевизионные приемники, персональные системы видеозаписи, подключенные бытовые устройства и серверы. Элементы системы 1000 по отдельности или в комбинации могут быть реализованы в виде одной интегральной схемы (IC), множества IC и/или дискретных компонентов. Например, по меньшей мере в одном варианте осуществления элементы системы 1000 для обработки и работы кодера/декодера распределены по множеству IC и/или дискретных компонентов. В различных вариантах осуществления система 1000 соединена с возможностью связи с одной или более другими системами или другими электронными устройствами, например, посредством шины связи или с помощью специальных портов ввода и/или вывода. В различных вариантах осуществления система 1000 выполнена с возможностью реализации одного или более аспектов, описанных в настоящем документе.

Система 1000 включает в себя по меньшей мере один процессор 1010, выполненный с возможностью исполнения загруженных в него команд для реализации, например, различных аспектов, описанных в настоящем документе. Процессор 1010 может включать в себя встроенное запоминающее устройство, входной/выходной интерфейс и различные другие соединения и элементы, известные специалистам в данной области. Система 1000 включает в себя по меньшей мере одно запоминающее устройство 1020 (например, энергозависимое запоминающее устройство и/или энергонезависимое запоминающее устройство). Система 1000 включает в себя устройство хранения данных 1040, которое может включать в себя энергонезависимое запоминающее устройство и/или энергозависимое запоминающее устройство, включая, без ограничений, электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), постоянное запоминающее устройство (ПЗУ), программируемое постоянное запоминающее устройство (ППЗУ), оперативное запоминающее устройство (ОЗУ), динамическое оперативное запоминающее устройство (ДОЗУ), статическое оперативное запоминающее устройство (СОЗУ), флэш-память, магнитный диск и/или оптический диск. Устройство хранения данных 1040 может включать в себя внутреннее устройство хранения данных, прикрепленное устройство хранения данных (включая съемные и несъемные устройства хранения данных) и/или сетевое устройство хранения данных, в качестве примеров, не имеющих ограничительного характера.

Система 1000 включает в себя модуль кодера/декодера 1030, выполненный, например, с возможностью обработки данных для предоставления закодированного или декодированного видеопотока, и модуль кодера/декодера 1030 может включать в себя собственный процессор и запоминающее устройство. Модуль кодера/декодера 1030 представляет собой модуль (модули), который может быть встроен в устройство для выполнения функций кодирования и/или декодирования. Как известно, устройство может включать в себя один или оба модуля кодирования и декодирования. Кроме того, модуль кодера/декодера 1030 может быть реализован в виде отдельного элемента системы 1000 или может быть встроен в процессор 1010 в виде комбинации аппаратного и программного обеспечения, как известно специалистам в данной области.

Программный код, подлежащий загрузке в процессор 1010 или кодер/декодер 1030 для выполнения различных аспектов, описанных в настоящем документе, может храниться в устройстве хранения данных 1040, а затем загружаться в запоминающее устройство 1020 для исполнения процессором 1010. В соответствии с различными вариантами осуществления в одном или более элементов, в том числе процессоре 1010, запоминающем устройстве 1020, устройстве хранения данных 1040 и модуле кодера/декодера 1030, могут храниться один или более различных элементов во время выполнения процессов, описанных в настоящем документе. Такие элементы, хранящиеся в устройствах, могут включать в себя, без ограничений, входной видеопоток, декодированный видеопоток или части декодированного видеопотока, битовый поток, матрицы, переменные, промежуточные или конечные результаты обработки уравнений, формул, операций и функциональной логики.

В некоторых вариантах осуществления запоминающее устройство внутри процессора 1010 и/или модуля кодера/декодера 1030 используют для хранения команд и обеспечения функционирования рабочего запоминающего устройства для обработки данных во время кодирования или декодирования. Однако в других вариантах осуществления запоминающее устройство, являющееся внешним по отношению к устройству обработки (например, устройство обработки может представлять собой процессор 1010 или модуль кодера/декодера 1030), используется для одной или более из этих функций. Внешнее запоминающее устройство может представлять собой запоминающее устройство 1020 и/или устройство хранения данных 1040, например динамическое энергозависимое запоминающее устройство и/или энергонезависимую флэш-память. В нескольких вариантах осуществления внешняя энергонезависимая флэш-память используется для хранения операционной системы устройства, например, телевизора. По меньшей мере в одном варианте осуществления быстродействующее внешнее динамическое энергозависимое запоминающее устройство, например, ОЗУ, используют в качестве рабочего запоминающего устройства для операций кодирования и декодирования видеосигналов, например, MPEG-2 (аббревиатура «MPEG» относится к группе экспертов в области движущихся изображений Moving Picture Experts Group, группа стандартов MPEG-2 также известна как ISO/IEC 13818, а 13818-1 также имеет название H.222, и 13818-2 также имеет название H.262), HEVC (аббревиатура «HEVC» относится к методу высокоэффективного кодирования видеосигналов High Efficiency Video Coding, также известному как H.265 и MPEG-H Part 2) или VVC (Versatile Video Coding, новый стандарт, разработанный JVET, Объединенной группой экспертов по видеосигналам).

Ввод данных в элементы системы 1000 может осуществляться через различные устройства ввода, как указано в блоке 1130. Такие устройства ввода включают в себя, без ограничений, (i) радиочастотную (РЧ) часть, которая принимает РЧ-сигнал, передаваемый, например, по беспроводной связи с помощью передающей станции, (ii) терминал ввода компонента (COMP) (или набор терминалов ввода COMP), (iii) терминал ввода универсальной последовательной шины (USB) и/или (iv) терминал ввода мультимедийного интерфейса высокой чёткости (HDMI). Другие примеры, не показанные на фиг. 10, включают в себя составное видеоизображение.

В различных вариантах осуществления устройства ввода (блок 1130), снабжены соответствующими элементами обработки входных данных, как известно специалистам в данной области. Например, РЧ-часть может быть связана с элементами, подходящими для (i) выбора желаемой частоты (это также называется выбором сигнала или ограничением полосы частот), (ii) преобразования выбранного сигнала с понижением частоты, (iii) ограничения полосы частот для получения более узкой полосы частот для выбора (в том числе) полосы частот сигнала, которая в определенных вариантах осуществления может называться каналом, (iv) демодулирования сигнала с пониженной частотой и ограниченной полосой частот, (v) выполнения коррекции ошибок и (vi) демультиплексирования для выбора желаемого потока пакетов данных. РЧ-часть в различных вариантах осуществления включает в себя один или более элементов для выполнения этих функций, например, селекторы частоты, селекторы сигнала, ограничители полосы частот, селекторы каналов, фильтры, понижающие преобразователи, демодуляторы, корректоры ошибок и демультиплексоры. РЧ-часть может включать в себя переключатель каналов, который выполняет различные из этих функций, включая, например, преобразование принятого сигнала с понижением частоты в более низкую частоту (например, промежуточную частоту или частоту, близкую к основной полосе частот) или в основную полосу частот. В одном варианте осуществления телевизионной приставки РЧ-часть и связанный с ней элемент обработки входных данных принимают РЧ-сигнал, передаваемый по проводу (например, кабелю), и выполняют выбор частоты путем фильтрации, преобразования с понижением частоты и повторной фильтрации для достижения требуемого диапазона частот. В рамках различных вариантов осуществления порядок описанных выше (и других) элементов изменяется, некоторые из этих элементов удаляются и/или добавляются другие элементы, выполняющие аналогичные или иные функции. Добавление элементов может включать в себя встраивание элементов между существующими элементами, например, добавление усилителей и аналого-цифрового преобразователя. В различных вариантах осуществления РЧ-часть включает в себя антенну.

Дополнительно терминалы USB и/или HDMI могут включать в себя соответствующие интерфейсные процессоры для подключения системы 1000 к другим электронным устройствам через соединения USB и/или HDMI. Следует понимать, что различные аспекты входной обработки, например, коррекция ошибок Рида-Соломона, при необходимости могут быть реализованы, например, в пределах отдельной входной обработки данных IC или в процессоре 1010. Аналогичным образом, аспекты обработки интерфейса USB или HDMI при необходимости могут быть реализованы в отдельных IC интерфейса или в процессоре 1010. Демодулированный, исправленный и демультиплексированный поток данных подают на различные элементы обработки, включая, например, процессор 1010 и кодер/декодер 1030, работающие в комбинации с элементами системы хранения информации для обработки потока данных при необходимости их представления на устройстве вывода.

Различные элементы системы 1000 могут быть предусмотрены внутри интегрированного корпуса, и в пределах такого интегрированного корпуса различные элементы могут быть взаимно соединены и передавать данные между собой с помощью подходящей соединительной конструкции 1140, например, внутренней шины, известной специалистам в данной области, включая шину Inter-IC (I2C), проводов и печатных плат.

Система 1000 включает в себя интерфейс связи 1050, который обеспечивает связь с другими устройствами по каналу связи 1060. Интерфейс связи 1050 может включать в себя, без ограничений, приемопередатчик, выполненный с возможностью передачи и приема данных по каналу связи 1060. Интерфейс связи 1050 может включать в себя, без ограничений, модем или сетевую плату, а канал связи 1060 может быть реализован, например, в проводном и/или беспроводном варианте.

В различных вариантах осуществления данные передаются в систему 1000 с использованием беспроводной сети, такой как сеть Wi-Fi, например IEEE 802.11 (аббревиатура «IEEE» относится к Институту инженеров по электротехнике и электронике). Сигнал Wi-Fi в рамках этих вариантов осуществления принимается по каналу связи 1060 и интерфейсу связи 1050, которые выполнены с возможностью связи по Wi-Fi. Канал связи 1060 в рамках этих вариантов осуществления, как правило, соединен с точкой доступа или маршрутизатором, который обеспечивает доступ к внешним сетям, в том числе сети Интернет, для обеспечения возможности потоковой и иной передачи данных. В других вариантах осуществления потоковые данные поступают в систему 1000 с помощью телевизионной приставки, которая доставляет данные через соединение HDMI блока ввода 1130. В других вариантах осуществления потоковые данные поступают в систему 1000 с помощью РЧ-соединения блока ввода 1130. Как указано выше, в рамках различных вариантов осуществления не происходит потоковой передачи данных. Кроме того, в различных вариантах осуществления используются беспроводные сети, отличные от Wi-Fi, например, сотовая сеть или сеть Bluetooth.

Система 1000 может подавать выходной сигнал на различные устройства вывода, включая дисплей 1100, динамики 1110 и другие периферийные устройства 1120. Дисплей 1100 в различных вариантах осуществления включает в себя, например, сенсорный дисплей, дисплей на органических светодиодах (OLED), изогнутый дисплей и/или складываемый дисплей. Дисплей 1100 может быть предназначен для работы с телевизором, планшетным компьютером, ноутбуком, сотовым телефоном (мобильным телефоном) или другим устройством. Дисплей 1100 также может быть встроен в другие компоненты (например, как это реализовано в смартфоне) или может представлять собой отдельный компонент (например, внешний монитор на ноутбуке). В различных примерах осуществления другие периферийные устройства 1120 включают в себя, например, автономный цифровой видеодиск (или универсальный цифровой диск) («DVR» для обоих терминов), проигрыватель дисков, стерео систему и/или осветительную систему. В различных вариантах осуществления используются одно или более периферийных устройств 1120, которые обеспечивают выполнение функции, основанной на выходных данных системы 1000. Например, проигрыватель дисков выполняет функцию воспроизведения выходного сигнала системы 1000.

В различных вариантах осуществления управляющие сигналы передаются между системой 1000 и дисплеем 1100, динамиками 1110 или другими периферийными устройствами 1120 с использованием таких методов передачи сигналов, как AV.Link, Consumer Electronics Control (CEC) и других протоколов связи, которые обеспечивают возможность последовательного управления устройствами с вмешательством пользователя или без него. Устройства вывода могут быть соединены с возможностью связи с системой 1000 посредством выделенных соединений с помощью соответствующих интерфейсов 1070, 1080 и 1090. В альтернативном варианте осуществления устройства вывода могут быть подключены к системе 1000 с помощью канала связи 1060 посредством интерфейса связи 1050. Дисплей 1100 и динамики 1110 могут быть интегрированы в единый блок с другими компонентами системы 1000 в электронном устройстве, например, телевизоре. В различных вариантах осуществления интерфейс дисплея 1070 включает в себя драйвер дисплея, например, контроллер синхронизации (T Con).

В альтернативном варианте осуществления дисплей 1100 и динамик 1110 могут работать отдельно от одного или более других компонентов, например, если РЧ-часть блока ввода 1130 является частью отдельной телевизионной приставки. В различных вариантах осуществления, в которых дисплей 1100 и динамики 1110 являются внешними компонентами, выходной сигнал может выводиться через специальные выходные соединения, включая, например, порты HDMI, порты USB или выходы COMP.

Варианты осуществления могут быть реализованы с помощью компьютерного программного обеспечения, исполняемого процессором 1010, или аппаратного обеспечения, или с помощью комбинации аппаратного и программного обеспечения. В качестве примера, не имеющего ограничительного характера, варианты осуществления могут быть реализованы в виде одной или более интегральных схем. Запоминающее устройство 1020 может быть реализовано в соответствии с любым его типом, подходящим для технической среды, и может быть реализовано с использованием любой подходящей технологии хранения данных, в том числе оптических запоминающих устройств, магнитных запоминающих устройств, полупроводниковых запоминающих устройств, постоянных запоминающих устройств и съемных запоминающих устройств, в качестве примеров, не имеющих ограничительного характера. Процессор 1010 может быть реализован в соответствии с любым его типом, подходящим для технической среды, и может включать в себя один или более микропроцессоров, компьютеров общего назначения, компьютеров специального назначения и процессоров с многоядерной архитектурой, в качестве примеров, не имеющих ограничительного характера.

Различные варианты осуществления включают в себя декодирование. Используемый в настоящей заявке термин «декодирование» может означать все или часть выполняемых процессов, например, в принятой кодированной последовательности для формирования конечных выходных данных, подходящих для отображения. В различных вариантах осуществления такие процессы включают в себя один или более процессов, обычно выполняемых декодером, например энтропийное декодирование, обратное квантование, обратное преобразование и дифференциальное декодирование. В различных вариантах осуществления такие процессы также включают в себя процессы, выполняемые декодером согласно различным вариантам осуществления, описанным в настоящей заявке, например, извлечение изображения из привязанного (упакованного) изображения, определение фильтра повышающей дискретизации для последующего использования, а затем повышение дискретизации изображения и возврат изображения к его предполагаемой ориентации.

В качестве дополнительных примеров в одном варианте осуществления «декодирование» относится только к энтропийному декодированию, в другом варианте осуществления «декодирование» относится только к дифференциальному декодированию, а в другом варианте осуществления «декодирование» относится к комбинации энтропийного декодирования и дифференциального декодирования. Ответ на вопрос о том, предназначена ли фраза «процесс декодирования» конкретно для ссылки на подмножество операций или для ссылки на процесс декодирования в более широком смысле, будет понятен на основе контекста конкретных описаний. Считается, что принцип применения данного термина известен специалистам в данной области.

Различные варианты осуществления включают в себя кодирование. Аналогично приведенному выше описанию термина «декодирование», используемый в настоящей заявке термин «кодирование» может означать все или часть процессов, выполняемых, например, на входной видеопоследовательности для создания кодированного битового потока. В различных вариантах осуществления такие процессы включают в себя один или более процессов, обычно выполняемых кодером, например разделение, дифференциальное кодирование, преобразование, квантование и энтропийное кодирование. В различных вариантах осуществления такие процессы также включают в себя процессы, выполняемые кодером согласно различным вариантам осуществления, описанным в настоящей заявке.

В качестве дополнительных примеров в одном варианте осуществления термин «кодирование» относится только к энтропийному кодированию, в другом варианте осуществления термин «кодирование» относится только к дифференциальному кодированию, а в еще одном варианте осуществления термин «кодирование» относится к комбинации дифференциального кодирования и энтропийного кодирования. Ответ на вопрос о том, предназначена ли фраза «процесс кодирования» конкретно для ссылки на подмножество операций или для ссылки на процесс кодирования в более широком смысле, будет понятен на основе контекста конкретных описаний. Считается, что принцип применения данного термина известен специалистам в данной области. Следует отметить, что элементы синтаксиса, используемые в настоящем документе, являются описательными терминами и не имеют ограничительного характера. Таким образом, их использование не исключает использования других названий элементов синтаксиса.

Если фигура представлена в виде блок-схемы, следует понимать, что она также представляет собой блок-схему соответствующего устройства. Аналогичным образом, если фигура представлена в виде блок-схемы, следует понимать, что она также представляет собой блок-схему соответствующего способа/процесса.

Варианты осуществления и аспекты, описанные в настоящем документе, могут быть реализованы, например, в рамках способа или процесса, устройства, программного обеспечения, потока данных или сигнала. Даже если данный аспект описывается только в контексте одной формы осуществления (например, рассматривается только как способ), описываемый вариант осуществления элементов также может быть реализован в других формах (например, в устройстве или программном обеспечении). Устройство может быть реализовано, например, в виде соответствующего аппаратного обеспечения, программного обеспечения и микропрограммного обеспечения. Способы могут быть реализованы, например, в виде процессора, который относится к устройствам обработки в целом, включая, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/карманные персональные компьютеры (PDA) и другие устройства, облегчающие передачу информации между конечными пользователями.

Ссылка на «один вариант осуществления», или «вариант осуществления», а также на другие их варианты означает, что конкретный признак, структура, характеристика и т.п., описанные в связи с вариантом осуществления, включены по меньшей мере в один вариант осуществления. Таким образом, фраза «в одном варианте осуществления» или «в одном из вариантов осуществления», а также любые другие ее варианты, приведенные в различных частях настоящей заявки, необязательно относятся к одному варианту осуществления.

Кроме того, в настоящей заявке может описываться «определение» различных фрагментов информации. Определение информации может включать в себя, например, оценку информации, вычисление информации, прогнозирование информации или извлечение информации из запоминающего устройства.

Кроме того, в настоящей заявке может описываться «доступ» к различным фрагментам информации. Доступ к информации может включать в себя, например, прием информации, извлечение информации (например, из запоминающего устройства), хранение информации, передачу информации, копирование информации, вычисление информации, определение информации, прогнозирование информации и оценку информации.

Кроме того, в настоящей заявке может описываться «прием» различных фрагментов информации. Прием информации, как и в случае «доступа» к ней, описывается в широком смысле. Прием информации может включать в себя, например, доступ к информации или извлечение информации (например, из запоминающего устройства). Кроме того, «прием», как правило, является частью операций, таких как, например, хранение информации, обработка информации, передача информации, копирование информации, удаление информации, вычисление информации, определение информации, прогнозирование информации и оценка информации.

Следует понимать, что любая из следующих фраз и обозначений: «/», «и/или» и «по меньшей мере один элемент из», например, в случае использования выражений «A/B», «A и/или B» и «по меньшей мере один элемент из A и B», означает выбор только первого указанного элемента (A), или выбор только второго указанного элемента (B), или выбор обоих элементов (A и B). В качестве дополнительного примера при использовании выражений «A, B и/или C» и «по меньшей мере один элемент из A, B и C» предполагается, что такая фраза означает выбор только первого указанного элемента (A), или выбор только второго указанного элемента (B), или выбор только третьего указанного элемента (C), или выбор только первого и второго указанных элементов (A и B), или выбор только первого и третьего указанных элементов (A и C), или выбор только второго и третьего указанных элементов (B и C), или выбор всех трех элементов (A и B и C). Данные выражения могут применяться в более широком смысле в зависимости от количества элементов, как известно специалистам в данной области.

Кроме того, в настоящем документе слово «сигнал» означает, помимо прочего, команду, передаваемую на соответствующий декодер. Например, в некоторых вариантах осуществления кодер сигнализирует конкретный параметр из множества параметров для выбора параметров фильтра на основе области для выполнения фильтрации для устранения артефактов. Таким образом, в варианте осуществления один и тот же параметр используют как на стороне кодера, так и на стороне декодера. Таким образом, например, кодер может передавать (посредством прямой передачи сигнала) конкретный параметр декодеру таким образом, чтобы декодер мог использовать данный конкретный параметр. И наоборот, если декодер уже имеет определенные параметры, в том числе конкретный параметр, для указания конкретного параметра можно использовать метод косвенной передачи сигнала без передачи параметра. За счет исключения передачи фактических функций в различных вариантах осуществления обеспечивается экономия битов. Следует понимать, что передача сигналов может выполняться различными способами. Например, в различных вариантах осуществления один или более элементов синтаксиса, флагов и т.п. используют для передачи информации соответствующему декодеру. В настоящем документе в отношении передачи сигналов могут использоваться различные части речи, такие как глагол «передавать сигнал» и существительное «передача сигнала».

Как будет понятно специалистам в данной области, в рамках вариантов осуществления могут генерироваться различные сигналы, отформатированные для передачи информации, которую можно, например, хранить или передавать. Информация может включать в себя, например, инструкции по реализации способа или данные, полученные в рамках одного из описанных вариантов осуществления. Например, сигнал может быть отформатирован для передачи битового потока согласно описанному варианту осуществления. Такой сигнал может быть отформатирован, в том числе в виде электромагнитной волны (например, с использованием радиочастотного участка спектра) или в виде сигнала основной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей частоты потоком кодированных данных. Информация, передаваемая сигналом, может представлять собой, например, аналоговую или цифровую информацию. Как известно, сигнал может передаваться по множеству различных проводных и беспроводных линий связи. Сигнал может храниться на считываемом процессором носителе.

В настоящем документе описывается ряд вариантов осуществления. Особенности этих вариантов осуществления могут быть представлены отдельно или в любой комбинации по различным категориям и типам пунктов формулы изобретения. Кроме того, варианты осуществления могут включать в себя любой из следующих признаков, устройств или аспектов, отдельно или в любой комбинации, по различным категориям и типам пунктов формулы изобретения: (1) изменение процессов прогнозирования, применяемых в декодере и/или кодере; (2) активация нескольких усовершенствованных способов прогнозирования в декодере и/или кодере; (3) добавление в синтаксис передачи сигналов элементов, позволяющих декодеру идентифицировать используемый способ прогнозирования; (4) выбор способа прогнозирования для применения в декодере на основе этих элементов синтаксиса; (5) применение способа прогнозирования для выведения прогнозирования в декодере; (6) адаптация остатков в кодере в соответствии с любым из описанных вариантов осуществления; (7) битовый поток или сигнал, который включает в себя один или более из описанных элементов синтаксиса и их вариаций; (8) битовый поток или сигнал, который включает в себя синтаксис, передающий информацию, сгенерированную в соответствии с любым из описанных вариантов осуществления; (9) добавление в синтаксис передачи сигналов элементов, позволяющих декодеру адаптировать остатки способом, соответствующим способу, использованному кодером; (10) создание, и/или передача, и/или прием, и/или декодирование битового потока или сигнала, который включает в себя один или более из описанных элементов синтаксиса и их вариаций; (11) создание, и/или передача, и/или прием, и/или декодирование в соответствии с любым из описанных вариантов осуществления; (12) способ, процесс, устройство, носитель, на котором хранятся команды, носитель, на котором хранятся данные, или сигнал в соответствии с любым из описанных вариантов осуществления; (13) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления; (14) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления и отображающее (например, с помощью монитора, экрана или дисплея другого типа) полученное изображение; (15) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выбирающее (например, с помощью переключателя каналов) канал для приема сигнала, включающего в себя кодированное изображение, и выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления; и (16) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, принимающее (например, с помощью антенны) сигнал, который включает в себя кодированное изображение, и выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления.

Хотя признаки и элементы описаны выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент можно использовать отдельно или в любой комбинации с другими признаками и элементами. Кроме того, описанные в настоящем документе способы могут быть реализованы в компьютерной программе, программном обеспечении или программно-аппаратном обеспечении, встроенном в машиночитаемый носитель и предназначенном для исполнения компьютером или процессором. Примеры энергозависимого машиночитаемого носителя информации включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), регистр, кэш-память, полупроводниковые устройства хранения данных, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика, предназначенного для применения в составе модуля 102 WTRU, пользовательского оборудования (UE), терминала, базовой станции, контроллера RNC и/или любого главного компьютера.

Кроме того, в описанных выше вариантах осуществления отмечены платформы для выполнения обработки, вычислительные системы, контроллеры и другие устройства, содержащие процессоры. Эти устройства могут содержать по меньшей мере один центральный процессор (ЦП) и запоминающее устройство. Как свидетельствует практика специалистов в области компьютерного программирования, указания на действия и символические представления этапов или команд могут быть реализованы с помощью различных ЦП и запоминающих устройств. Такие действия и этапы или команды могут упоминаться как «исполняемые», «исполняемые с помощью компьютера» или «исполняемые с помощью ЦП».

Для специалиста в данной области будет очевидно, что указанные действия и символически представленные этапы или команды включают управление электрическими сигналами с помощью ЦП. Электрическая система выдает биты данных, которые могут инициировать итоговое преобразование или ослабление электрических сигналов и сохранение битов данных в ячейках запоминающего устройства в системе запоминающего устройства, чтобы таким образом переконфигурировать или иным образом изменить работу ЦП, а также другую обработку сигналов. Ячейки запоминающего устройства, в которых хранятся биты данных, представляют собой физические местоположения, которые обладают определенными электрическими, магнитными, оптическими или органическими свойствами, соответствующими битам данных или характерными для битов данных. Следует понимать, что примеры осуществления не ограничены вышеупомянутыми платформами или ЦП и что другие платформы и ЦП также могут поддерживать предложенные способы.

Биты данных также могут храниться на машиночитаемом носителе, в том числе на магнитных дисках, оптических дисках и любом другом энергозависимом (например, оперативном запоминающем устройстве (ОЗУ)) или энергонезависимом (например, постоянном запоминающем устройстве (ПЗУ)) накопителе большой емкости для считывания ЦП. Машиночитаемый носитель может включать в себя взаимодействующий или взаимосвязанный машиночитаемый носитель, применяемый исключительно в системе обработки или распределенный между множеством взаимосвязанных систем обработки, которые могут быть локальными или удаленными по отношению к указанной системе обработки. При этом подразумевается, что типовые варианты осуществления не ограничены вышеупомянутыми запоминающими устройствами и что другие платформы и запоминающие устройства также могут поддерживать описанные способы.

В иллюстративном варианте осуществления любые этапы, способы и т.п., описанные в настоящем документе, могут быть реализованы в виде машиночитаемых команд, хранящихся на машиночитаемом носителе. Процессор мобильного устройства, сетевой элемент и/или любое другое вычислительное устройство могут быть выполнены с возможностью исполнения машиночитаемых команд.

Между аппаратными и программными реализациями аспектов систем остаются незначительные различия. Использование аппаратного или программного обеспечения, как правило (но не всегда, поскольку в определенных контекстах различие между аппаратным и программным обеспечением может стать значительным), предполагает выбор конструкции, представляющей собой компромисс между затратами и эффективностью. Могут существовать различные средства, с помощью которых могут быть реализованы способы и/или системы, и/или другие технологии, описанные в данном документе (например, аппаратное обеспечение, программное обеспечение и/или микропрограммное обеспечение), а предпочтительное средство может варьироваться в зависимости от контекста, в котором развернуты указанные способы и/или системы, и/или другие технологии. Например, если разработчик определяет, что скорость и точность имеют первостепенное значение, он может применять главным образом аппаратное и/или микропрограммное средство. Если самым важным аспектом является гибкость, разработчик может выбирать реализацию главным образом в виде программного обеспечения. В альтернативном варианте осуществления разработчик может применять комбинацию аппаратного обеспечения, программного обеспечения и/или микропрограммного обеспечения.

В приведенном выше подробном описании изложены различные варианты осуществления устройств и/или способов с применением блок-схем, структурных схем и/или примеров. Поскольку такие блок-схемы, структурные схемы и/или примеры содержат одну или более функций и/или операций, для специалистов в данной области будет очевидно, что каждая функция и/или операция в таких блок-схемах, структурных схемах или примерах может быть реализована, отдельно и/или совместно, с применением широкого спектра аппаратного обеспечения, программного обеспечения, микропрограммного обеспечения или по существу любой их комбинации. В качестве примера подходящие процессоры включают процессор общего назначения, процессор специального назначения, стандартный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные микросхемы (ASIC), стандартные части специализированной интегральной схемы (ASSP); программируемую пользователем вентильную матрицу (FPGA), интегральную схему (IC) любого другого типа и/или конечный автомат.

Хотя признаки и элементы представлены выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент может быть использован отдельно или в любой комбинации с другими признаками и элементами. Настоящее изобретение не ограничивается описанными в настоящей заявке конкретными вариантами осуществления, которые предназначены для иллюстрации различных аспектов. Для специалистов в данной области будет очевидно, что возможно внесение множества модификаций и изменений без отступления от сущности и объема настоящего изобретения. Никакие элементы, действия или команды, используемые в описании настоящей заявки, не следует рассматривать как критические или существенные для изобретения, если явным образом не указано иное. Функционально эквивалентные способы и устройства, входящие в объем описания, в дополнение к перечисленным в настоящем документе станут очевидными для специалистов в данной области после ознакомления с представленными выше описаниями. Предполагается, что такие модификации и вариации включены в объем приложенной формулы изобретения. Настоящее описание ограничивается исключительно прилагаемой формулой изобретения, а также полным диапазоном эквивалентов, к которым относится такая формула изобретения. Следует понимать, что настоящее описание не ограничивается конкретными способами или системами.

Кроме того, следует понимать, что применяемые в настоящем документе термины используют только в целях описания конкретных вариантов осуществления настоящего изобретения и они не носят ограничительного характера. Используемые в настоящем документе термины «станция» и его аббревиатура STA, «пользовательское оборудование» и его аббревиатура UE могут означать (i) модуль беспроводной передачи/приема (WTRU), например, как описано ниже; (ii) любой из некоторого количества вариантов осуществления WTRU, например, как описано ниже; (iii) беспроводное и/или проводное (например, подключаемое) устройство, выполненное, в частности, с применением некоторых или всех конструкций и функциональных возможностей WTRU, например, как описано ниже; (iii) беспроводное и/или проводное устройство, выполненное не со всеми конструкциями и функциональными возможностями WTRU, например, как описано ниже; или (iv) и т.п.

В определенных типовых вариантах осуществления некоторые части объекта изобретения, описанного в настоящем документе, могут быть реализованы с помощью специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), цифровых сигнальных процессоров (DSP) и/или интегральных схем других форматов. Однако для специалистов в данной области будет очевидно, что некоторые аспекты описанных в настоящем документе вариантов осуществления полностью или частично могут быть эквивалентно реализованы в интегральных схемах в виде одной или более компьютерных программ, выполняемых на одном или более компьютерах (например, в виде одной или более программ, выполняемых в одной или более компьютерных системах), в виде одной или более программ, выполняемых на одном или более процессорах (например, в виде одной или более программ, выполняемых на одном или более микропроцессорах), в виде микропрограммного обеспечения или в виде по существу любой их комбинации и что разработка схем и/или написание кода для программного обеспечения и/или микропрограммного обеспечения будет вполне по силам специалисту в данной области после ознакомления с настоящим описанием. Кроме того, для специалистов в данной области будет очевидно, что механизмы объекта изобретения, описанные в настоящем документе, могут быть распределены в виде программного продукта в множестве форм и что иллюстративный вариант осуществления объекта изобретения, описанный в настоящем документе, применяют независимо от конкретного типа среды передачи сигналов, используемой для фактического осуществления такого распределения. Примеры носителя сигнала включают в себя, без ограничений, следующее: носитель, выполненный с возможностью записи, например, гибкий диск, накопитель на жестком диске, CD, DVD, магнитную ленту для цифровой записи, запоминающее устройство компьютера и т.д., а также носитель, выполненный с возможностью передачи, такой как цифровая и/или аналоговая среда передачи данных (например, оптоволоконный кабель, волновод, проводная линия связи, беспроводная линия связи и т.д.).

Описанный в настоящем документе объект изобретения иногда иллюстрирует различные компоненты, содержащиеся внутри различных других компонентов или соединенные с ними. Следует понимать, что такие показанные архитектуры являются лишь примерами и что фактически можно реализовать различные другие архитектуры с такой же функциональностью. В концептуальном смысле любая конструкция компонентов для получения такой же функциональности практически «связана» с возможностью обеспечения желаемой функциональности. Следовательно, любые два компонента, скомбинированные в настоящем документе для достижения конкретной функциональности, можно рассматривать как «связанные» друг с другом с возможностью обеспечения желаемой функциональности, независимо от архитектур или промежуточных компонентов. Аналогично любые два компонента, соединенные таким образом, можно также рассматривать как «функционально соединенные» или «функционально связанные» друг с другом для обеспечения желаемой функциональности, и любые два компонента, которые могут быть связаны таким образом, также можно рассматривать как «имеющие возможность функционального соединения» друг с другом для обеспечения желаемой функциональности. Конкретные примеры функционально соединяемых компонентов включают в себя, без ограничений, компоненты, выполненные с возможностью физического сопряжения, и/или физического, и/или логического, и/или беспроводного взаимодействия, и/или компоненты, взаимодействующие логически и/или беспроводным образом.

В отношении применения по существу любых вариантов множественного и/или единственного числа для терминов в настоящем документе специалисты в данной области могут изменять множественное число на единственное и/или единственное число на множественное в соответствии с требованиями контекста и/или сферой применения. В настоящем документе различные комбинации единственного/множественного числа для ясности могут быть указаны явным образом.

Для специалистов в данной области будет очевидно, что в целом термины, используемые в настоящем документе и, в частности, в прилагаемой формуле изобретения (например, в главной части прилагаемой формулы изобретения), как правило, считаются «неограничивающими» терминами (например, термин «включающий» следует интерпретировать как «включающий, без ограничений», термин «имеющий» следует интерпретировать как «имеющий по меньшей мере», термин «включает» следует интерпретировать как «включает, без ограничений» и т.д.). Кроме того, для специалистов в данной области будет очевидно, что в случае, если предполагается конкретное количество включенных пунктов с изложением формулы изобретения, такое намерение будет явным образом указано в формуле изобретения, а в отсутствие такого упоминания такого намерения нет. Например, если речь идет только об одном элементе, может быть использован термин «один» или аналогичный термин. Для облегчения понимания нижеследующая прилагаемая формула изобретения и/или описания в данном документе могут содержать вводные фразы «по меньшей мере один» и «один или более» для введения перечисления пунктов формулы изобретения. Однако использование таких фраз не следует истолковывать как подразумевающее, что введение перечисления пунктов формулы изобретения с грамматическими формами единственного числа ограничивает любой конкретный пункт формулы изобретения, содержащий такое введенное перечисление пунктов формулы изобретения, вариантами осуществления, содержащими только одно такое перечисление, даже если тот же пункт включает вводные фразы «один или более» или «по меньшей мере один» и грамматические формы единственного числа (например, грамматические формы единственного числа следует интерпретировать как означающие «по меньшей мере» или «один или более»). То же самое справедливо в отношении применения определенных грамматических форм, используемых для введения перечисления пунктов формулы изобретения. Кроме того, даже если явным образом указано конкретное количество включенных перечисленных пунктов формулы изобретения, для специалистов в данной области будет очевидно, что такое перечисление следует интерпретировать как означающее по меньшей мере указанное количество (например, простое указание «двух пунктов» без других определений означает по меньшей мере два пункта же два или более пунктов). Кроме того, в случае использования правила, аналогичного правилу «по меньшей мере одно из A, B и C и т.д.», в общем случае для специалиста в данной области понятно правило, подразумеваемое такой конструкцией (например, «система, содержащая по меньшей мере одно из A, B и C» будет включать, без ограничений, системы, которые содержат только A, только B, только C, одновременно A и B, одновременно A и C, одновременно B и C и/или одновременно A, B и C и т.д.). В случае использования правила, аналогичного правилу «по меньшей мере одно из A, B или C и т.д.», в общем случае для специалиста в данной области понятно правило, подразумеваемое такой конструкцией (например, «система, содержащая по меньшей мере одно из A, B или C» будет включать в себя, без ограничений, системы, которые содержат только A, только B, только C, одновременно A и B, одновременно A и C, одновременно B и C и/или одновременно A, B и C и т.д.). Кроме того, для специалистов в данной области будет очевидно, что по существу любое разделяющее слово и/или разделяющая фраза, представляющие два или более альтернативных терминов, будь то в описании, формуле изобретения или на чертежах, подразумевают возможность включения одного из терминов, любого из терминов или обоих терминов. Например, фраза «A или B» будет подразумевать включение возможностей «A» или «B» или «A и B». Кроме того, используемый в настоящем документе термин «любой из», после которого следует перечень множества элементов и/или множества категорий элементов, должен включать «любой из», «любая комбинация из», «любое множество из» и/или «любая комбинация из множества» элементов и/или категорий элементов, по отдельности или в сочетании с другими элементами и/или другими категориями элементов. Кроме того, используемый в настоящем документе термин «набор» или «группа» включает в себя любое количество элементов, в том числе ноль. Кроме того, используемый в настоящем документе термин «количество» включает в себя любое количество, в том числе ноль.

Кроме того, если признаки или аспекты описания представлены в терминах групп Маркуша, специалистам в данной области будет очевидно, что описание, таким образом, также представлено в терминах любого отдельного члена или подгруппы членов группы Маркуша.

Как будет очевидно для специалиста в данной области, для всех целей, таких как обеспечение письменного описания, все диапазоны, описанные в настоящем документе, также охватывают все их возможные поддиапазоны и комбинации поддиапазонов. Любой из перечисленных диапазонов можно легко распознать как представляющий достаточное описание и как диапазон, который можно разбить на по меньшей мере равные половины, трети, четверти, пятые части, десятые части и т.д. В примере, не имеющем ограничительного характера, каждый диапазон, описанный в данном документе, можно легко разбить в нижнюю треть, среднюю треть и верхнюю треть, и т.д. Как будет очевидно для специалиста в данной области, все термины, такие как «вплоть до», «по меньшей мере», «более чем», «менее чем» и т.п., включают в себя указанное число и относятся к диапазонам, которые можно впоследствии разбить на поддиапазоны, как описано выше. И наконец, как будет очевидно для специалиста в данной области, диапазон включает в себя каждый отдельный элемент. Таким образом, например, группа, содержащая 1–3 соты, относится к группам, содержащим 1, 2 или 3 соты. Аналогично группа, содержащая 1–5 сот, относится к группам, содержащим 1, 2, 3, 4 или 5 сот, и т.д.

Кроме того, формулу изобретения не следует рассматривать как ограниченную предложенным порядком или элементами, если не указано иное. Кроме того, использование термина «предназначенный для» в любом пункте формулы изобретения предполагает ссылку на Свод законов США (U.S.C.) 35 §112(f) или формат пункта формулы изобретения «предназначенный для плюс функция», и любой пункт формулы изобретения, не содержащий термин «предназначенный для», не указывает на это.

Хотя изобретение проиллюстрировано и описано в настоящем документе применительно к конкретным вариантам осуществления, изобретение не ограничено представленным подробным описанием. Напротив, в подробное описание в пределах объема и диапазона эквивалентов формулы изобретения могут быть внесены различные изменения без отступления от настоящего изобретения.

Для специалистов в данной области будет очевидно, что в настоящем описании некоторые типовые варианты осуществления можно использовать в альтернативном варианте осуществления или в сочетании с другими типовыми вариантами осуществления.

Хотя признаки и элементы описаны выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент можно использовать отдельно или в любой комбинации с другими признаками и элементами. Кроме того, описанные в настоящем документе способы могут быть реализованы в компьютерной программе, программном обеспечении или программно-аппаратном обеспечении, встроенном в машиночитаемый носитель и предназначенном для исполнения компьютером или процессором. Примеры энергозависимого машиночитаемого носителя информации включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), регистр, кэш-память, полупроводниковые устройства хранения данных, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика, предназначенного для применения в составе модуля WTRU, UE, терминала, базовой станции, контроллера RNC или любого главного компьютера.

Кроме того, в описанных выше вариантах осуществления отмечены платформы для выполнения обработки, вычислительные системы, контроллеры и другие устройства, содержащие процессоры. Эти устройства могут содержать по меньшей мере один центральный процессор (ЦП) и запоминающее устройство. Как свидетельствует практика специалистов в области компьютерного программирования, указания на действия и символические представления этапов или команд могут быть реализованы с помощью различных ЦП и запоминающих устройств. Такие действия и этапы или команды могут упоминаться как «исполняемые», «исполняемые с помощью компьютера» или «исполняемые с помощью ЦП».

Для специалиста в данной области будет очевидно, что указанные действия и символически представленные этапы или команды включают управление электрическими сигналами с помощью ЦП. Электрическая система выдает биты данных, которые могут инициировать итоговое преобразование или ослабление электрических сигналов и сохранение битов данных в ячейках запоминающего устройства в системе запоминающего устройства, чтобы таким образом переконфигурировать или иным образом изменить работу ЦП, а также другую обработку сигналов. Ячейки запоминающего устройства, в которых хранятся биты данных, представляют собой физические местоположения, которые обладают определенными электрическими, магнитными, оптическими или органическими свойствами, соответствующими битам данных или характерными для битов данных.

Биты данных также могут храниться на машиночитаемом носителе, в том числе на магнитных дисках, оптических дисках и любом другом энергозависимом (например, оперативном запоминающем устройстве (ОЗУ)) или энергонезависимом (например, постоянном запоминающем устройстве (ПЗУ)) накопителе большой емкости, считываемом ЦП. Машиночитаемый носитель может включать в себя взаимодействующий или взаимосвязанный машиночитаемый носитель, применяемый исключительно в системе обработки или распределенный между множеством взаимосвязанных систем обработки, которые могут быть локальными или удаленными по отношению к указанной системе обработки. При этом подразумевается, что типовые варианты осуществления не ограничены вышеупомянутыми запоминающими устройствами и что другие платформы и запоминающие устройства также могут поддерживать описанные способы.

Ни одни из элементов, действий или инструкций, используемых в описании настоящей заявки, не следует рассматривать как критические или существенные для настоящего изобретения, если явным образом не описано иное. Кроме того, используемая в настоящем документе грамматическая форма единственного числа предполагает включение одного или более элементов. Если подразумевается только один элемент, используют термин «один» или аналогичный термин. Кроме того, используемый в настоящем документе термин «любой из», после которого следует перечень множества элементов и/или множества категорий элементов, должен включать «любой из», «любая комбинация из», «любое множество из» и/или «любая комбинация из множества» элементов и/или категорий элементов, по отдельности или в сочетании с другими элементами и/или другими категориями элементов. Кроме того, используемый в настоящем документе термин «набор» включает любое количество элементов, в том числе ноль. Кроме того, используемый в настоящем документе термин «количество» включает любое количество, включая ноль.

Кроме того, формулу изобретения не следует рассматривать как ограниченную описанным порядком или элементами, если не указано иное. Кроме того, использование термина «средство» в любом пункте формулы изобретения предполагает ссылку на Свод законов США (U.S.C.) 35 §112(f), и любой пункт формулы изобретения, не содержащий термин «средство», не указывает на это.

В качестве примера подходящие процессоры включают процессор общего назначения, процессор специального назначения, стандартный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные микросхемы (ASIC), стандартные части специализированной интегральной схемы (ASSP); программируемую пользователем вентильную матрицу (FPGA), интегральную схему (IC) любого другого типа и/или конечный автомат.

Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика для использования в модуле беспроводной передачи/приема (WRTU), оборудовании пользователя (UE), терминале, базовой станции, объекте управления мобильностью (MME) или усовершенствованном пакетном ядре (EPC) или любом главном компьютере. WRTU можно использовать в сочетании с модулями, реализованными в аппаратном и/или программном обеспечении, включая систему радиосвязи с программируемыми параметрами (SDR) и другие компоненты, такие как камера, модуль видеокамеры, видеотелефон, телефон с громкоговорителем, вибрационное устройство, динамик, микрофон, телевизионный приемопередатчик, наушники с микрофоном, клавиатура, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), модуль ближней радиосвязи (NFC), блок жидкокристаллического дисплея (LCD), блок дисплея на органических светодиодах (OLED), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль устройства для воспроизведения видеоигр, Интернет-браузер и/или любая беспроводная локальная сеть (WLAN) или модуль сверхширокополосной связи (UWB).

Хотя изобретение описано в контексте систем связи, предполагается, что указанные системы могут быть реализованы в виде программного обеспечения в микропроцессорах/компьютерах общего назначения (не показаны). В определенных вариантах осуществления одна или более функций различных компонентов могут быть реализованы в программном обеспечении, управляющем компьютером общего назначения.

Кроме того, хотя изобретение проиллюстрировано и описано в настоящем документе применительно к конкретным вариантам осуществления, изобретение не ограничено представленным подробным описанием. Напротив, в подробное описание в пределах объема и диапазона эквивалентов формулы изобретения могут быть внесены различные изменения без отступления от настоящего изобретения.

Изобретение относится к области кодирования и декодирования видеоданных. Технический результат заключается в повышении эффективности кодирования. Предложены способы, устройства, системы, архитектуры и интерфейсы для улучшения прогнозирования с компенсацией движения на уровне подблока (SB) на основе уточнения вектора движения (MV). Способ декодирования включает в себя прием битового потока кодированных видеоданных, причем битовый поток включает в себя по меньшей мере один блок видеоданных, включающий в себя множество SB; выведение MV, включая процесс MV на основе декодера (DMVR), для по меньшей мере одного SB в блоке для генерирования уточненного MV для каждого SB; компенсацию движения на основе SB по меньшей мере в одном подблоке для генерирования прогнозирования на основе SB в пределах каждого SB; получение пространственного градиента для прогнозирования в пределах каждого SB; определение смещения MV каждого пикселя в каждом SB; получение параметров изменения интенсивности в каждом SB на основе пространственных градиентов и смещений MV с помощью уравнения оптического потока; и уточнение прогнозирования в пределах каждого SB на основании полученных параметров изменения интенсивности. 4 н. и 17 з.п. ф-лы, 13 ил.

1. Способ декодирования видео, включающий:

прием блока видеоданных, причем блок видеоданных включает в себя множество подблоков; и

уточнение прогнозирования подблока из множества подблоков с помощью:

выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков,

расчета аффинной модели движения на основе выведенных векторов движения,

определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,

получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока, и

уточнения пикселей на основе полученных параметров изменения интенсивности.

2. Способ по п. 1, отличающийся тем, что выведенные векторы движения получают с помощью основанного на декодере процесса выведения вектора движения.

3. Способ по п. 1, отличающийся тем, что ошибку моделирования оценивают на основе выведенных векторов движения, и если рассчитанная ошибка моделирования превышает пороговое значение, осуществляют пропуск расчета, определения, получения и уточнения в отношении подблока.

4. Способ по п. 1, отличающийся тем, что множество подблоков включает в себя соседние подблоки относительно подблока и расчет аффинной модели движения основан на векторах движения, выведенных для соседних блоков, дополнительно включает:

оценку ошибки моделирования аффинной модели движения с использованием вектора движения, выведенного для подблока; и

если рассчитанное значение ошибки моделирования превышает пороговое значение, осуществляют пропуск расчета, определения, получения и уточнения в отношении подблока.

5. Способ по п. 1, отличающийся тем, что рассчитанную для подблока аффинную модель движения используют для уточнения прогнозирования другого подблока видеоданных блока.

6. Способ по п. 1, отличающийся тем, что аффинная модель движения представляет собой аффинную модель движения с 4 параметрами для одного или более подблоков из множества подблоков.

7. Способ по п. 6, отличающийся тем, что один или более подблоков расположены на левой границе и/или верхней границе блока.

8. Способ по п. 1, отличающийся тем, что расчет аффинной модели движения дополнительно включает в себя:

расчет множества моделей на основе выведенных векторов движения; оценку соответствующих значений ошибок моделирования для множества моделей; и

выбор в качестве аффинной модели движения одну из множества моделей, содержащую наименьшее значение ошибки.

9. Способ по п. 1, отличающийся тем, что расчет аффинной модели движения дополнительно включает в себя:

расчет множества моделей на основе выведенных векторов движения, причем множество моделей включает в себя одну или более из:

аффинной модели движения с 6 параметрами;

аффинной модели движения с 4 параметрами.

10. Способ по п. 1, отличающийся тем, что уточнение пикселей на основе полученных параметров изменения интенсивности включает:

взвешивание полученных параметров изменения интенсивности на весовой коэффициент; и

добавление взвешенного изменения интенсивности к пикселю.

11. Способ по п. 10, дополнительно включающий:

прием весового коэффициента, указывающего на уровне блока видеоданных или на уровне изображения на весовой коэффициент для взвешивания полученных параметров изменения интенсивности.

12. Способ кодирования видео, включающий:

прием блока видеоданных, причем блок видеоданных включает в себя множество подблоков; и

уточнение прогнозирования подблока из множества подблоков с помощью:

выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков,

расчета аффинной модели движения на основе выведенных векторов движения,

определение для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,

получение параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока, и

уточнение пикселей на основе полученных параметров изменения интенсивности.

13. Устройство декодирования видео, содержащее: по меньшей мере один процессор; и

запоминающее устройство, хранящее инструкции, побуждающие устройство при их выполнении процессором:

принимать блок видеоданных, причем блок видеоданных включает в себя множество подблоков, и

уточнять прогнозирование подблока из множества подблоков с помощью:

выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков;

расчета аффинной модели движения на основе выведенных векторов движения;

определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,

получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока; и

уточнения пикселей на основе полученных параметров изменения интенсивности.

14. Устройство по п. 13, отличающееся тем, что выведенные векторы движения получают с помощью основанного на декодере процесса выведения вектора движения.

15. Устройство по п. 13, отличающееся тем, что множество подблоков включает в себя соседние подблоки относительно подблока и расчет аффинной модели движения основан на векторах движения, выведенных для соседних блоков и причем инструкции дополнительно побуждают устройство:

оценивать ошибки моделирования аффинной модели движения с использованием вектора движения, выведенного для подблока; и

пропуска расчета, определения, получения и уточнения в отношении подблока, если рассчитанное значение ошибки моделирования превышает пороговое значение.

16. Устройство по п. 13, в котором рассчитанная для подблока аффинная модель движения выполнена с возможностью уточнения прогнозирования другого подблока видеоданных блока.

17. Устройство по п. 13, в котором расчет аффинной модели движения дополнительно включает в себя:

расчет множества моделей на основе выведенных векторов движения; оценку соответствующих значений ошибок моделирования для множества моделей; и

выбор в качестве аффинной модели движения одну из множества моделей, содержащую наименьшее значение ошибки.

18. Устройство по п. 13, в котором расчет аффинной модели движения дополнительно включает в себя:

расчет множества моделей на основе выведенных векторов движения, причем множество моделей включает в себя одну или более из аффинной модели движения с 6 параметрами и аффинной модели движения с 4 параметрами.

19. Устройство по п. 13, в котором уточнение пикселей на основе полученных параметров изменения интенсивности включает:

взвешивание полученных параметров изменения интенсивности на весовой коэффициент; и

добавление взвешенного изменения интенсивности к пикселю.

20. Устройство по п. 19, дополнительно выполненное с возможностью: приема весового коэффициента, указывающего на уровне блока видеоданных или на уровне изображения весовой коэффициент для взвешивания полученных параметров изменения интенсивности.

21. Устройство кодирования видео, содержащее:

по меньшей мере один процессор; и

запоминающее устройство, хранящее инструкции, побуждающие устройство при их выполнении процессором:

принимать блок видеоданных, причем блок видеоданных включает в себя множество подблоков, и

уточнять прогнозирование подблока из множества подблоков с помощью:

выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков;

расчета аффинной модели движения на основе выведенных векторов движения;

определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,

получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока; и

уточнения пикселей на основе полученных параметров изменения интенсивности.