НЕЯВНЫЙ ВЫБОР ПРЕОБРАЗОВАНИЯ ПРИ КОДИРОВАНИИ ВИДЕО Российский патент 2023 года по МПК H04N19/12 

[0001] Данная заявка притязает на приоритет заявки на патент (США) № 16/815920, поданной 11 марта 2020 года, которая притязает на приоритет предварительной заявки на патент (США) 62/817397, поданной 12 марта 2019 года, содержимое которых полностью содержится в данном документе по ссылке.

Область техники, к которой относится изобретение

[0002] Данное раскрытие сущности относится к кодированию видео и декодированию видео.

Уровень техники

[0003] Поддержка цифрового видео может быть включена в широкий диапазон устройств, включающих в себя цифровые телевизионные приемники, системы цифровой прямой широковещательной передачи, беспроводные широковещательные системы, персональные цифровые устройства (PDA), переносные или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые записывающие устройства, цифровые мультимедийные проигрыватели, устройства видеоигр, консоли для видеоигр, сотовые или спутниковые радиотелефоны, так называемые "смартфоны", устройства видеоконференц-связи, устройства потоковой передачи видео и т.п. Цифровые видеоустройства реализуют такие технологии кодирования видео, как технологии кодирования видео, описанные в стандартах, заданных посредством стандартов MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, усовершенствованное кодирование видео (AVC), ITU-T H.265/стандарта высокоэффективного кодирования видео (HEVC), и расширений таких стандартов. Видеоустройства могут передавать, принимать, кодировать, декодировать и/или сохранять цифровую видеоинформацию более эффективно посредством реализации таких технологий кодирования видео.

[0004] Технологии кодирования видео включают в себя пространственное (внутрикадровое) прогнозирование и/или временное (межкадровое) прогнозирование для того, чтобы уменьшать или удалять избыточность, внутренне присущую в видеопоследовательностях. Для кодирования видео на основе блоков, видеосрез (например, видеокадр или часть видеокадра) может сегментироваться на видеоблоки, которые также могут называться "единицами дерева кодирования (CTU)", "единицами кодирования (CU)" и/или "узлами кодирования". Видеоблоки во внутреннем (I-) срезе кадра кодируются с использованием пространственного прогнозирования относительно опорных выборок в соседних блоках в идентичном кадре. Видеоблоки во взаимно кодированном (P- или B-) срезе кадра могут использовать пространственное прогнозирование относительно опорных выборок в соседних блоках в идентичном кадре или временное прогнозирование относительно опорных выборок в других опорных кадрах. Кадры могут называться "кинокадрами", и опорные кадры могут называться "опорными кинокадрами".

Сущность изобретения

[0005] В одном примере, способ включает в себя логический вывод, для текущего блока преобразования текущего видеоблока, типа преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST), при этом логический вывод типа преобразования содержит: определение размера текущего блока преобразования; определение того, сегментируется или нет текущий видеоблок с использованием внутренней сегментации на субблоки (ISP); и в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, выбор конкретного DST из одного или более DST в качестве выбранного типа преобразования; преобразование, с использованием выбранного типа преобразования, текущего блока преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и восстановление, на основе восстановленных остаточных данных для видеоблока, видеоблока.

[0006] В другом примере, устройство включает в себя запоминающее устройство, выполненное с возможностью сохранять видеоблоки; и один или более процессоров, реализованных в схеме и выполненных с возможностью: логически выводить, для текущего блока преобразования текущего видеоблока, тип преобразования из множества типов преобразования, который включает в себя одно или более DCT и одно или более DST, при этом для того, чтобы логически выводить тип преобразования, один или более процессоров выполнены с возможностью: определять размер текущего блока преобразования; определять то, сегментируется или нет текущий видеоблок с использованием ISP; и выбирать, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования; преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок.

[0007] В другом примере, машиночитаемый носитель хранения данных сохраняет инструкции, которые при выполнении, инструктируют одному или более процессоров устройства кодирования видео: логически выводить, для текущего блока преобразования текущего видеоблока, тип преобразования из множества типов преобразования, который включает в себя одно или более DCT и одно или более DST, при этом инструкции, которые инструктируют одному или более процессоров логически выводить тип преобразования, содержат инструкции, которые инструктируют одному или более процессоров: определять размер текущего блока преобразования; определять то, сегментируется или нет текущий видеоблок с использованием ISP; и выбирать, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования; преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок.

[0008] Подробности одного или более примеров этого раскрытия сущности изложены на прилагаемых чертежах и в нижеприведенном описании. Другие признаки, цели и преимущества различных аспектов технологий должны становиться очевидными из описания и чертежей, а также из формулы изобретения.

Краткое описание чертежей

[0009] Фиг. 1 является блок-схемой, иллюстрирующей примерную систему кодирования и декодирования видео, которая может выполнять технологии этого раскрытия сущности.

[0010] Фиг. 2A и 2B являются концептуальными схемами, иллюстрирующими примерную структуру в виде дерева квадрантов и двоичного дерева (QTBT) и соответствующую единицу дерева кодирования (CTU).

[0011] Фиг. 2C является концептуальной схемой, иллюстрирующей другую примерную структуру в виде дерева квадрантов и соответствующую древовидную единицу.

[0012] Фиг. 3 является блок-схемой, иллюстрирующей примерный видеокодер, который может выполнять технологии этого раскрытия сущности.

[0013] Фиг. 4 является блок-схемой, иллюстрирующей примерный видеодекодер, который может выполнять технологии этого раскрытия сущности.

[0014] Фиг. 5 является блок-схемой, иллюстрирующей систему для гибридного кодирования видео с адаптивным выбором преобразования.

[0015] Фиг. 6 является концептуальной схемой, иллюстрирующей реализацию разделимого преобразования с независимым преобразованием горизонтальных и вертикальных линий.

[0016] Фиг. 7 является концептуальной схемой, иллюстрирующей примерный блок, для которого видеокодер может неявно извлекать преобразования в соответствии с одной или более технологий этого раскрытия сущности.

[0017] Фиг. 8 является концептуальной схемой, иллюстрирующей направления внутреннего прогнозирования.

[0018] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей примерный способ для кодирования текущего блока.

[0019] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей примерный способ для декодирования текущего блока.

[0020] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей примерный способ для логического вывода типа преобразования для блока преобразования видеоблока, в соответствии с одной или более технологий этого раскрытия сущности.

Подробное описание изобретения

[0021] В общем, это раскрытие сущности описывает технологии для неявного выбора преобразования при кодировании видео. Как подробнее пояснено ниже, после прогнозирования, такого как внутреннее прогнозирование или взаимное прогнозирование блока, видеокодер может вычислять остаточные данные для блока. Остаточные данные, такие как остаточный блок, представляют последовательные выборочные разности между блоком и блоком прогнозирования для блока, сформированные с использованием соответствующего режима прогнозирования. Видеокодер может применять одно или более преобразований к остаточному блоку для того, чтобы формировать преобразованные данные в области преобразования вместо выборочной области. Например, видеокодер может применять дискретное косинусное преобразование (DCT). В некоторых примерах, видеокодер может использовать различные типы преобразований. Например, видеокодер может использовать различные типы DCT.

[0022] Видеодекодер может применять обратное преобразование при декодировании видеоданных. Если видеокодер может использовать различные типы преобразований, для видеодекодера может быть необходимым определять то, какое преобразование использовано посредством видеокодера. В некоторых примерах, видеокодер может явно передавать в служебных сигналах (например, кодировать синтаксический элемент с помощью значения, которое указывает) то, какой тип преобразования использован при преобразовании остаточных данных. Тем не менее, в некоторых примерах, может быть нежелательным явно передавать в служебных сигналах тип используемого преобразования (например, вследствие объема передаваемой служебной информации).

[0023] В соответствии с одной или более технологий этого раскрытия сущности, видеодекодер может неявно определять то, какой тип преобразования использован при преобразовании остаточных данных. Например, видеодекодер может применять набор правил для того, чтобы определять то, какой тип преобразования использован при преобразовании остаточных данных, на основе вспомогательной информации, доступной в видеодекодере (например, либо явно передаваемой в служебных сигналах, либо неявно извлекаемой из передаваемой в служебных сигналах информации). Видеокодер может применять идентичные правила при определении того, какой тип преобразования следует использовать. В связи с этим, видеокодер и видеодекодер могут определять то, какой тип преобразования следует использовать, без явной передачи в служебных сигналах типа преобразования.

[0024] Фиг. 1 является блок-схемой, иллюстрирующей примерную систему 100 кодирования и декодирования видео, которая может выполнять технологии этого раскрытия сущности. Технологии этого раскрытия сущности, в общем, направлены на кодирование (кодирование и/или декодирование) видеоданных. В общем, видеоданные включают в себя любые данные для обработки видео. Таким образом, видеоданные могут включать в себя необработанное некодированное видео, кодированное видео, декодированное (например, восстановленное) видео и видеометаданные, такие как служебные данные.

[0025] Как показано на фиг. 1, система 100 включает в себя исходное устройство 102, которое предоставляет кодированные видеоданные, которые должны декодироваться и отображаться посредством целевого устройства 116, в этом примере. В частности, исходное устройство 102 предоставляет видеоданные в целевое устройство 116 через машиночитаемый носитель 110. Исходное устройство 102 и целевое устройство 116 могут содержать любые из широкого диапазона устройств, включающих в себя настольные компьютеры, ноутбуки (т.е. переносные компьютеры), планшетные компьютеры, абонентские приставки, телефонные трубки, к примеру, смартфоны, телевизионные приемники, камеры, устройства отображения, цифровые мультимедийные проигрыватели, консоли для видеоигр, устройство потоковой передачи видео и т.п. В некоторых случаях, исходное устройство 102 и целевое устройство 116 могут оснащаться возможностями беспроводной связи и в силу этого могут называться "устройствами беспроводной связи".

[0026] В примере по фиг. 1, исходное устройство 102 включает в себя видеоисточник 104, запоминающее устройство 106, видеокодер 200 и интерфейс 108 вывода. Целевое устройство 116 включает в себя интерфейс 122 ввода, видеодекодер 300, запоминающее устройство 120 и устройство 118 отображения. В соответствии с этим раскрытием сущности, видеокодер 200 исходного устройства 102 и видеодекодер 300 целевого устройства 116 могут быть выполнены с возможностью применять технологии для неявного выбора преобразования. Таким образом, исходное устройство 102 представляет пример устройства кодирования видео, в то время как целевое устройство 116 представляет пример устройства декодирования видео. В других примерах, исходное устройство и целевое устройство могут включать в себя другие компоненты или компоновки. Например, исходное устройство 102 может принимать видеоданные из внешнего видеоисточника, такого как внешняя камера. Аналогично, целевое устройство 116 может взаимодействовать с внешним устройством отображения вместо включения в себя интегрированного устройства отображения.

[0027] Система 100, как показано на фиг. 1, представляет собой просто один пример. В общем, любое устройство кодирования и/или декодирования цифрового видео может выполнять технологии для неявного выбора преобразования. Исходное устройство 102 и целевое устройство 116 представляют собой просто примеры таких устройств кодирования, в которых исходное устройство 102 формирует кодированные видеоданные для передачи в целевое устройство 116. Это раскрытие сущности обозначает устройство "кодирования" в качестве устройства, которое выполняет кодирование (кодирование и/или декодирование) данных. Таким образом, видеокодер 200 и видеодекодер 300 представляют примеры устройств кодирования, в частности, видеокодера и видеодекодера, соответственно. В некоторых примерах, устройства 102, 116 могут работать практически симметрично, так что каждое из устройств 102, 116 включает в себя компоненты кодирования и декодирования видео. Следовательно, система 100 может поддерживать одностороннюю и двухстороннюю передачу видео между видеоустройствами 102, 116, к примеру, для потоковой передачи видео, воспроизведения видео, широковещательной передачи видео или видеотелефонии.

[0028] В общем, видеоисточник 104 представляет источник видеоданных (т.е. необработанных некодированных видеоданных) и предоставляет последовательную серию кадров (также называемых "кинокадрами") видеоданных в видеокодер 200, который кодирует данные для кадров. Видеоисточник 104 исходного устройства 102 может включать в себя устройство видеозахвата, такое как видеокамера, видеоархив, содержащий ранее захваченное необработанное видео, и/или интерфейс прямой видеотрансляции, чтобы принимать видео от поставщика видеосодержимого. В качестве дополнительной альтернативы, видеоисточник 104 может формировать данные компьютерной графики в качестве исходного видео либо комбинацию передаваемого вживую видео, архивного видео и машиногенерируемого видео. В каждом случае, видеокодер 200 кодирует захваченные, предварительно захваченные или машиногенерируемые видеоданные. Видеокодер 200 может перекомпоновывать кадры из порядка приема (иногда называемого "порядком отображения") в порядок кодирования для кодирования. Видеокодер 200 может формировать поток битов, включающий в себя кодированные видеоданные. Исходное устройство 102 затем может выводить кодированные видеоданные через интерфейс 108 вывода на машиночитаемый носитель 110 для приема и/или извлечения, например, посредством интерфейса 122 ввода целевого устройства 116.

[0029] Запоминающее устройство 106 исходного устройства 102 и запоминающее устройство 120 целевого устройства 116 представляют запоминающие устройства общего назначения. В некотором примере, запоминающие устройства 106, 120 могут сохранять необработанные видеоданные, например, необработанное видео из видеоисточника 104 и необработанные декодированные видеоданные из видеодекодера 300. Дополнительно или альтернативно, запоминающие устройства 106, 120 могут сохранять программные инструкции, выполняемые, например, посредством видеокодера 200 и видеодекодера 300, соответственно. Хотя показаны отдельно от видеокодера 200 и видеодекодера 300 в этом примере, следует понимать, что видеокодер 200 и видеодекодер 300 также могут включать в себя внутренние запоминающие устройства для функционально аналогичных или эквивалентных целей. Кроме того, запоминающие устройства 106, 120 могут сохранять кодированные видеоданные, например, выводимые из видеокодера 200 и вводимые в видеодекодер 300. В некоторых примерах, части запоминающих устройств 106, 120 могут выделяться в качестве одного или более видеобуферов, например, чтобы сохранять необработанные, декодированные и/или кодированные видеоданные.

[0030] Машиночитаемый носитель 110 может представлять любой тип носителя или устройства, допускающего транспортировку кодированных видеоданных из исходного устройства 102 в целевое устройство 116. В одном примере, машиночитаемый носитель 110 представляет среду связи, чтобы обеспечивать возможность исходному устройству 102 передавать кодированные видеоданные непосредственно в целевое устройство 116 в реальном времени, например, через радиочастотную сеть или компьютерную сеть. Интерфейс 108 вывода может модулировать передаваемый сигнал, включающий в себя кодированные видеоданные, и интерфейс 122 ввода может модулировать принимаемый сигнал передачи, согласно стандарту связи, такому как протокол беспроводной связи. Среда связи может содержать любую беспроводную или проводную среду связи, такую как радиочастотный (RF) спектр либо одна или более физических линий передачи. Среда связи может формировать часть сети с коммутацией пакетов, такой как локальная вычислительная сеть, глобальная вычислительная сеть либо глобальная сеть, такая как Интернет. Среда связи может включать в себя маршрутизаторы, коммутаторы, базовые станции или любое другое оборудование, которое может быть полезным для того, чтобы упрощать передачу из исходного устройства 102 в целевое устройство 116.

[0031] В некоторых примерах, исходное устройство 102 может выводить кодированные данные из интерфейса 108 вывода в устройство 116 хранения данных. Аналогично, целевое устройство 116 может осуществлять доступ к кодированным данным из устройства 116 хранения данных через интерфейс 122 ввода. Устройство 116 хранения данных может включать в себя любые из множества распределенных или локально доступных носителей хранения данных, таких как жесткий диск, Blu-Ray-диски, DVD, CD-ROM, флэш-память, энергозависимое или энергонезависимое запоминающее устройство либо любые другие подходящие цифровые носители хранения данных для сохранения кодированных видеоданных.

[0032] В некоторых примерах, исходное устройство 102 может выводить кодированные видеоданные на файловый сервер 114 или другое промежуточное устройство хранения данных, которое может сохранять кодированное видео, сформированное посредством исходного устройства 102. Целевое устройство 116 может осуществлять доступ к сохраненным видеоданным из файлового сервера 114 через потоковую передачу или загрузку. Файловый сервер 114 может представлять собой любой тип серверного устройства, допускающего сохранение кодированных видеоданных и передачу этих кодированных видеоданных в целевое устройство 116. Файловый сервер 114 может представлять веб-сервер (например, для веб-узла), сервер по протоколу передачи файлов (FTP), сетевое устройство доставки контента или устройство по протоколу системы хранения данных с подключением по сети (NAS). Целевое устройство 116 может осуществлять доступ к кодированным видеоданным из файлового сервера 114 через любое стандартное соединение для передачи данных, включающее в себя Интернет-соединение. Оно может включать в себя беспроводной канал (например, Wi-Fi-соединение), проводное соединение (например, DSL, кабельный модем и т.д.) либо комбинацию означенного, которая является подходящей для осуществления доступа к кодированным видеоданным, сохраненным на файловом сервере 114. Файловый сервер 114 и интерфейс 122 ввода могут быть выполнены с возможностью работать согласно протоколу потоковой передачи, протоколу передачи на основе загрузки либо комбинации вышеозначенного.

[0033] Интерфейс 108 вывода и интерфейс 122 ввода могут представлять беспроводные передающие устройства/приемные устройства, модемы, проводные сетевые компоненты (например, Ethernet-карты), компоненты беспроводной связи, которые работают согласно любым из множества IEEE 802.11-стандартов, либо другие физические компоненты. В примерах, в которых интерфейс 108 вывода и интерфейс 122 ввода содержат беспроводные компоненты, интерфейс 108 вывода и интерфейс 122 ввода могут быть выполнены с возможностью передавать данные, к примеру, кодированные видеоданные, согласно стандарту сотовой связи, такому как 4G, 4G LTE (стандарт долгосрочного развития), усовершенствованный стандарт LTE, 5G и т.п. В некоторых примерах, в которых интерфейс 108 вывода содержит беспроводное передающее устройство, интерфейс 108 вывода и интерфейс 122 ввода могут быть выполнены с возможностью передавать данные, к примеру, кодированные видеоданные, согласно другим стандартам беспроводной связи, таким как IEEE 802.11-спецификация, IEEE 802.15-спецификация (например, ZigBee™), стандарт Bluetooth™ и т.п. В некоторых примерах, исходное устройство 102 и/или целевое устройство 116 могут включать в себя соответствующие внутримикросхемные (SoC) устройства. Например, исходное устройство 102 может включать в себя SoC-устройство, чтобы выполнять функциональность, приписываемую видеокодеру 200 и/или интерфейсу 108 вывода, и целевое устройство 116 может включать в себя SoC-устройство, чтобы выполнять функциональность, приписываемую видеодекодеру 300 и/или интерфейсу 122 ввода.

[0034] Технологии этого раскрытия сущности могут применяться к кодированию видео в поддержку любых из множества мультимедийных вариантов применения, таких как телевизионные широковещательные передачи по радиоинтерфейсу, кабельные телевизионные передачи, спутниковые телевизионные передачи, потоковые передачи видео по Интернету, такие как динамическая адаптивная потоковая передача по HTTP (DASH), цифровое видео, которое кодируется на носитель хранения данных, декодирование цифрового видео, сохраненного на носителе хранения данных, или другие варианты применения.

[0035] Интерфейс 122 ввода целевого устройства 116 принимает кодированный поток видеобитов из машиночитаемого носителя 110 (например, устройства 112 хранения данных, файлового сервера 114 и т.п.). Машиночитаемый носитель 110 кодированных потоков видеобитов может включать в себя служебную информацию, заданную посредством видеокодера 200, которая также используется посредством видеодекодера 300, такую как синтаксические элементы, имеющие значения, которые описывают характеристики и/или обработку видеоблоков либо других кодированных единиц (например, срезов, кадров, групп кадров, последовательностей и т.п.). Устройство 118 отображения отображает декодированные кадры декодированных видеоданных пользователю. Устройство 118 отображения может представлять любое из множества устройств отображения, таких как дисплей на электронно-лучевой трубке (CRT), жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED) или другой тип устройства отображения.

[0036] Хотя не показано на фиг. 1, в некоторых примерах, видеокодер 200 и видеодекодер 300 могут быть интегрированы с аудиокодером и/или аудиодекодером и могут включать в себя соответствующие модули мультиплексора-демультиплексора либо другие аппаратные средства и программное обеспечение для того, чтобы обрабатывать мультимедийные потоки, включающие в себя как аудио, так и видео в общем потоке данных. Если применимо, модули мультиплексора-демультиплексора могут соответствовать протоколу мультиплексора ITU H.223 или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP).

[0037] Видеокодер 200 и видеодекодер 300 могут реализовываться как любая из множества надлежащих схем кодера и/или декодера, к примеру, как один или более микропроцессоров, процессоров цифровых сигналов (DSP), специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), как дискретная логика, программное обеспечение, аппаратные средства, микропрограммное обеспечение либо как любые комбинации вышеозначенного. Когда технологии реализуются частично в программном обеспечении, устройство может сохранять инструкции для программного обеспечения на подходящем энергонезависимом машиночитаемом носителе и выполнять инструкции в аппаратных средствах с использованием одного или более процессоров, чтобы осуществлять технологии этого раскрытия сущности. Каждый из видеокодера 200 и видеодекодера 300 может быть включен в один или более кодеров или декодеров, любой из которых может быть интегрирован как часть комбинированного кодера/декодера (кодека) в соответствующем устройстве. Устройство, включающее в себя видеокодер 200 и/или видеодекодер 300, может содержать интегральную схему, микропроцессор и/или устройство беспроводной связи, такое как сотовый телефон.

[0038] Видеокодер 200 и видеодекодер 300 могут работать согласно стандарту кодирования видео, такому как ITU-T H.265, также называемому "стандартом высокоэффективного кодирования видео (HEVC)", либо его расширениям, таким как расширения кодирования многовидового видео и/или масштабируемого кодирования видео. Альтернативно, видеокодер 200 и видеодекодер 300 могут работать согласно другим собственным или отраслевым стандартам, таким как стандарт объединенной исследовательской группы тестовой модели (JEM) или ITU-T H.266, также называемый "универсальным кодированием видео (VVC)". Последний проект VVC-стандарта описывается в работе авторов Bross и др. "Versatile Video Coding (Draft 4)", Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 13-ая конференция: Марракеш, MA, 9-18 января 2019 года, JVET-M1001-v6 (далее "VVC-проект 4"). Тем не менее, технологии этого раскрытия сущности не ограничены каким-либо конкретным стандартом кодирования.

[0039] В общем, видеокодер 200 и видеодекодер 300 могут выполнять кодирование кадров на основе блоков. Термин "блок", в общем, означает структуру, включающую в себя данные, которые должны обрабатываться (например, кодироваться, декодироваться или иным образом использоваться в процессе кодирования и/или декодирования). Например, блок может включать в себя двумерную матрицу выборок данных яркости и/или цветности. В общем, видеокодер 200 и видеодекодер 300 могут кодировать видеоданные, представленные в YUV- (например, Y, Cb, Cr) формате. Таким образом, вместо кодирования данных красного цвета, зеленого цвета и синего цвета (RGB) для выборок кадра, видеокодер 200 и видеодекодер 300 могут кодировать компоненты яркости и цветности, при этом компоненты цветности могут включать в себя компоненты цветности оттенков красного цвета и оттенков синего цвета. В некоторых примерах, видеокодер 200 преобразует принимаемые RGB-отформатированные данные в YUV-представление до кодирования, и видеодекодер 300 преобразует YUV-представление в RGB-формат. Альтернативно, модули предварительной и постобработки (не показаны) могут выполнять эти преобразования.

[0040] Это раскрытие сущности, в общем, может означать кодирование (например, кодирование и декодирование) кадров, которое включает в себя процесс кодирования или декодирования данных кадра. Аналогично, это раскрытие сущности может означать кодирование блоков кадра, которое включает в себя процесс кодирования или декодирования данных для блоков, например, прогнозное кодирование и/или остаточное кодирование. Кодированный поток видеобитов, в общем, включает в себя последовательность значений для синтаксических элементов, представляющих решения по кодированию (например, режимы кодирования) и сегментацию кадров на блоки. Таким образом, ссылки на кодирование кадра или блока, в общем, должны пониматься как кодирование значений для синтаксических элементов, формирующих кадр или блок.

[0041] HEVC задает различные блоки, включающие в себя единицы кодирования (CU), единицы прогнозирования (PU) и единицы преобразования (TU). Согласно HEVC, видеокодер (к примеру, видеокодер 200) сегментирует единицу дерева кодирования (CTU) на CU согласно структуре в виде дерева квадрантов. Таким образом, видеокодер сегментирует CTU и CU на четыре равных неперекрывающихся квадрата, и каждый узел дерева квадрантов имеет либо нуль, либо четыре дочерних узла. Узлы без дочерних узлов могут называться "узлами-листьями", и CU таких узлов-листьев могут включать в себя одну или более PU и/или одну или более TU. Видеокодер дополнительно может сегментировать PU и TU. Например, в HEVC, остаточное дерево квадрантов (RQT) представляет сегментацию TU. В HEVC, PU представляют данные взаимного прогнозирования, в то время как TU представляют остаточные данные. CU, которые внутренне прогнозируются, включают в себя информацию внутреннего прогнозирования, такую как индикатор внутреннего режима.

[0042] В качестве другого примера, видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью работать согласно JEM или VVC. Согласно JEM или VVC, видеокодер (к примеру, видеокодер 200) сегментирует кинокадр на множество единиц дерева кодирования (CTU). Видеокодер 200 может сегментировать CTU согласно древовидной структуре, такой как структура в виде дерева квадрантов и двоичного дерева (QTBT) или структура в виде многотипного дерева (MTT). QTBT-структура удаляет понятия нескольких типов сегментации, такие как разделение между CU, PU и TU HEVC. QTBT-структура включает в себя два уровня: первый уровень, сегментированный согласно сегментации на основе дерева квадрантов, и второй уровень, сегментированный согласно сегментации на основе двоичного дерева. Корневой узел QTBT-структуры соответствует CTU. Узлы-листья двоичных деревьев соответствуют единицам кодирования (CU).

[0043] В MTT-структуре сегментации, блоки могут сегментироваться с использованием сегмента дерева квадрантов (QT), сегмента двоичного дерева (BT) и одного или более типов сегментов троичного дерева (TT). Сегмент троичного дерева представляет собой сегмент, в котором блок разбивается на три субблока. В некоторых примерах, сегмент троичного дерева разделяет блок на три субблока без разделения исходного блока по центру. Типы сегментации в MTT (например, QT, BT и TT) могут быть симметричными или асимметричными.

[0044] В некоторых примерах, видеокодер 200 и видеодекодер 300 могут использовать одну QTBT- или MTT-структуру для того, чтобы представлять каждый из компонентов яркости и цветности, в то время как в других примерах, видеокодер 200 и видеодекодер 300 могут использовать две или более QTBT- или MTT-структур, к примеру, одну QTBT/MTT-структуру для компонента яркости и другую QTBT/MTT-структуру для обоих компонентов цветности (либо две QTBT/MTT-структуры для соответствующих компонентов цветности).

[0045] Видеокодер 200 и видеодекодер 300 могут быть выполнены с возможностью использовать сегментацию на основе дерева квадрантов согласно HEVC, QTBT-сегментацию, MTT-сегментацию либо другие структуры сегментации. Для целей пояснения, описание технологий этого раскрытия сущности представляется относительно QTBT-сегментации. Тем не менее, следует понимать, что технологии этого раскрытия сущности также могут применяться к видеокодерам, выполненным с возможностью использовать также сегментацию на основе дерева квадрантов или другие типы сегментации.

[0046] Это раскрытие сущности может использовать "NxN" и "N на N" взаимозаменяемо, чтобы ссылаться на размеры в выборках блока (к примеру, CU или другого видеоблока) с точки зрения размеров по вертикали и горизонтали, например, на выборки 16×16 или выборки 16 на 16. В общем, CU 16×16 должна иметь 16 пикселов в вертикальном направлении (y=16) и 16 пикселов в горизонтальном направлении (x=16). Аналогично, CU NxN, в общем, имеет N выборок в вертикальном направлении и N выборок в горизонтальном направлении, при этом N представляет неотрицательное целочисленное значение. Выборки в CU могут размещаться в строках и столбцах. Кроме того, CU не обязательно должны иметь идентичное число выборок в горизонтальном направлении и в вертикальном направлении. Например, CU могут содержать NxM выборок, причем M не обязательно равно N.

[0047] Видеокодер 200 кодирует видеоданные для CU, представляющих информацию прогнозирования и/или остаточную информацию и другую информацию. Информация прогнозирования указывает то, как CU должна прогнозироваться, чтобы формировать блок прогнозирования для CU. Остаточная информация, в общем, представляет последовательные выборочные разности между выборками CU до кодирования и прогнозным блоком.

[0048] Чтобы прогнозировать CU, видеокодер 200, в общем, может формировать прогнозный блок для CU через взаимное прогнозирование или внутреннее прогнозирование. Взаимное прогнозирование, в общем, означает прогнозирование CU из данных ранее кодированного кадра, тогда как внутреннее прогнозирование, в общем, означает прогнозирование CU из ранее кодированных данных идентичного кадра. Чтобы выполнять взаимное прогнозирование, видеокодер 200 может формировать прогнозный блок с использованием одного или более векторов движения. Видеокодер 200, в общем, может выполнять поиск движения для того, чтобы идентифицировать опорный блок, который тесно совпадает с CU, например, с точки зрения разностей между CU и опорным блоком. Видеокодер 200 может вычислять разностный показатель с использованием суммы абсолютных разностей (SAD), суммы квадратов разности (SSD), средней абсолютной разности (MAD), среднеквадратических разностей (MSD) или других таких вычислений разности, чтобы определять то, совпадает или нет опорный блок тесно с текущей CU. В некоторых примерах, видеокодер 200 может прогнозировать текущую CU с использованием однонаправленного прогнозирования или двунаправленного прогнозирования.

[0049] Некоторые примеры JEM и VVC также предоставляют аффинный режим компенсации движения, который может считаться режимом взаимного прогнозирования. В аффинном режиме компенсации движения, видеокодер 200 может определять два или более векторов движения, которые представляют непоступательное движение в пространстве, такое как увеличение или уменьшение масштаба, вращение, перспективное движение или другие типы нерегулярного движения.

[0050] Чтобы выполнять внутреннее прогнозирование, видеокодер 200 может выбирать режим внутреннего прогнозирования для того, чтобы формировать прогнозный блок. Некоторые примеры JEM и VVC предоставляют шестьдесят семь режимов внутреннего прогнозирования, включающих в себя различные направленные режимы, а также планарный режим и DC-режим. В общем, видеокодер 200 выбирает режим внутреннего прогнозирования, который описывает соседние выборки относительно текущего блока (например, блока CU), из которых можно прогнозировать выборки текущего блока. Такие выборки, в общем, могут находиться выше, выше и слева или слева от текущего блока в идентичном кадре с текущим блоком, при условии, что видеокодер 200 кодирует CTU и CU в порядке растрового сканирования (слева направо, сверху вниз).

[0051] Видеокодер 200 кодирует данные, представляющие режим прогнозирования для текущего блока. Например, для режимов взаимного прогнозирования, видеокодер 200 может кодировать данные, представляющие то, какой из различных доступных режимов взаимного прогнозирования используется, а также информацию движения для соответствующего режима. Для однонаправленного или двунаправленного взаимного прогнозирования, например, видеокодер 200 может кодировать векторы движения с использованием усовершенствованного прогнозирования векторов движения (AMVP) или режима объединения. Видеокодер 200 может использовать аналогичные режимы для того, чтобы кодировать векторы движения для аффинного режима компенсации движения.

[0052] После прогнозирования, такого как внутреннее прогнозирование или взаимное прогнозирование блока, видеокодер 200 может вычислять остаточные данные для блока. Остаточные данные, такие как остаточный блок, представляют последовательные выборочные разности между блоком и блоком прогнозирования для блока, сформированные с использованием соответствующего режима прогнозирования. Видеокодер 200 может применять одно или более преобразований к остаточному блоку для того, чтобы формировать преобразованные данные в области преобразования вместо выборочной области. Например, видеокодер 200 может применять дискретное косинусное преобразование (DCT), целочисленное преобразование, вейвлет-преобразование или концептуально аналогичное преобразование к остаточным видеоданным. Дополнительно, видеокодер 200 может применять вторичное преобразование после первого преобразования, такое как зависимое от режима неразделимое вторичное преобразование (MDNSST), зависимое от сигнала преобразование, преобразование Карунена-Лоэва (KLT) и т.п. Видеокодер 200 формирует коэффициенты преобразования после применения одного или более преобразований.

[0053] Как пояснено выше, видеокодер, такой как видеокодер 200, может применять различные типы преобразований для того, чтобы преобразовывать остаточные данные. Ниже приводится общее представление дискретных синусных и косинусных преобразований (DCT и DST). Кроме того, в дальнейшем кратко поясняется схема преобразования, используемая в HEVC-стандарте.

[0054] Дискретные синусные и косинусные преобразования

[0055] Преобразование указывает процесс извлечения альтернативного представления входного сигнала. С учетом N-точечного вектора x=[x₀, x₁, ..., x_N-1]^T и набора данных векторов {ϕ₀, ϕ₁, ..., ϕ_M-1}, x может аппроксимироваться или точно представляться с использованием линейного комбинирования ϕ₀, ϕ₁, ..., ϕ_M-1, что может формулироваться следующим образом:

[0056] где может быть аппроксимацией или эквивалентом x, вектор f = [f_i, f₂, ..., f_M-1] называется "вектором коэффициентов преобразования", и {ϕ₀, ϕ₁, ..., ϕ_M-1} представляют собой базисные векторы преобразования.

[0057] В сценарии кодирования видео, коэффициенты преобразования приблизительно являются некоррелированными и разреженными, т.е. энергия входного вектора x уплотняется только для нескольких коэффициентов преобразования, и большинство оставшихся коэффициентов преобразования типично составляют близко к 0.

[0058] С учетом конкретных входных данных, оптимальное преобразование с точки зрения энергетического уплотнения представляет собой так называемое преобразование Карунена-Лоэва (KLT), которое использует собственные векторы ковариационной матрицы входных данных в качестве базисных векторов преобразования. Следовательно, KLT фактически представляет собой зависимое от данных преобразование и не имеет общей математической формулировки. Тем не менее, при определенных допущениях, например, входные данные формируют стационарные марковские процессы первого порядка; доказано в литературе, что соответствующее KLT фактически представляет собой член синусоидального семейства унитарных преобразований. Синусоидальное семейство унитарных преобразований указывает преобразования с использованием базисных векторов преобразования, формулируемых следующим образом:

ϕ_m(k)=A*e^ikɵ+B*e^-ikɵ_,

[0059] где e является основанием натурального логарифма, приблизительно равным 2,71828, A, B и ɵ являются комплексными, в общем, и зависят от значения m.

[0060] Примерные преобразования, включающие в себя дискретное преобразование Фурье, косинусоидальное преобразование, синусоидальное преобразование и KLT-преобразование (для стационарных марковских процессов первого порядка), представляют собой членов этого синусоидального семейства унитарных преобразований. Согласно работе S.A. Martucci "Symmetric convolution and the discrete sine and cosine transforms", IEEE Trans. Sig. Processing SP-42, 1038-1051 (1994) год, полный набор семейств дискретных косинусных преобразований (DCT) и дискретных синусных преобразований (DST) включает в себя всего 16 преобразований на основе различных типов, т.е. различных значений A, B и ɵ, и ниже приводится полное определения различных типов DCT и DST.

[0061] Допустим, что входной N-точечный вектор обозначается как x=[x₀, x₁, ..., x_N-1]^T, и он преобразуется в другой N-точечный вектор коэффициентов преобразования, обозначаемый как y=[y₀, y₁, ..., y_N-1]^T, посредством умножения матрицы, процесс чего дополнительно может иллюстрироваться согласно одному из следующих формулирований преобразования, при этом k находится в диапазоне от 0 до N-1, включительно:

[0062] DCT-тип I (DCT-1):

где

[0063] DCT-тип II (DCT-2):

,

где

[0064] DCT-тип III (DCT-3):

,

где

[0065] DCT-тип IV (DCT-4):

,

[0066] DCT-тип V (DCT-5):

,

где

[0067] DCT-тип VI (DCT-6):

,

где

[0068] DCT-тип VII (DCT-7):

,

где

[0069] DCT-тип VIII (DCT-8):

,

[0070] DST-тип I (DST-1):

,

[0071] DST-тип II (DST-2):

,

где

[0072] DST-тип III (DST-3):

,

где

[0073] DST-тип IV (DST-4):

,

[0074] DST-тип V (DST-5):

,

[0075] DST-тип VI (DST-6):

,

[0076] DST-тип VII (DST-7):

,

[0077] DST-тип VIII (DST-8):

,

где

[0078] Тип преобразования указывается посредством математической формулировки базисной функции преобразования, например, 4-точечное DST-VII и 8-точечное DST-VII имеют идентичный тип преобразования, независимо от значения N.

[0079] Без потери общности, все вышеуказанные типы преобразования могут представляться с использованием нижеприведенного обобщенного формулирования:

,

[0080] где T является матрицей преобразования, указываемой посредством определения одного определенного преобразования, например, DCT-тип I ~ DCT-тип VIII или DST-тип I ~ DST-тип VIII, и векторы-строки T, например, [T_i,0, T_i,1, T_i,2, ..., T_{i, N-1}] являются i-ми базисными векторами преобразования. Преобразование, применяемое к N-точечному входному вектору, называется "N-точечным преобразованием".

[0081] Также следует отметить, что вышеприведенные формулирования преобразования, которые применяются к одномерным входным данным x, могут представляться в форме матричного умножения, как пояснено ниже:

[0082] где T указывает матрицу преобразования, x указывает вектор входных данных, и y указывает выходной вектор коэффициентов преобразования.

[0083] Преобразование для двумерных входных данных

[0084] Преобразования, введенные в предыдущем разделе, применяются к одномерным входным данным, и преобразования также могут расширяться на источники двумерных входных данных. Предположим, X является входным массивом данных MxN. Типичные способы применения преобразования для двумерных входных данных включают в себя разделимые и неразделимые двумерные преобразования.

[0085] Разделимое двумерное преобразование применяет одномерные преобразования для горизонтальных и вертикальных векторов X последовательно, что формулируется так, как указано ниже:

,

[0086] где C и R обозначают данные матрицы преобразования MxM и NxN, соответственно. Из формулирования, можно видеть, что C применяет одномерные преобразования для векторов-столбцов X, в то время как R применяет одномерные преобразования для векторов-строк X. В дальнейшей части этого раскрытия сущности, для простоты C и R обозначаются в качестве левого (вертикального) и правого (горизонтального) преобразований, и они формируют пару преобразований. Возникают случаи, когда C равно R и является ортогональной матрицей. В таком случае, разделимое двумерное преобразование определяется посредством всего одной матрицы преобразования.

[0087] Неразделимое двумерное преобразование сначала реорганизует все элементы X в один вектор, а именно, X', посредством выполнения следующего математического преобразования в качестве примера:

[0088] Затем одномерное преобразование T' применяется для X', как указано ниже:

,

[0089] где T' является матрицей преобразования (MxN)x(MxN).

[0090] При кодировании видео, разделимые двумерные преобразования могут применяться, поскольку они могут использовать гораздо меньшее число операций (суммирования, умножения) по сравнению с одномерным преобразованием.

[0091] В традиционных видеокодеках, таких как H.264/AVC, целочисленная аппроксимация 4-точечного и 8-точечного дискретного косинусного преобразования (DCT) тип II всегда применяется для остатка внутреннего и взаимного прогнозирования. Чтобы лучше приспосабливать различную статистику остаточных выборок, более гибкие типы преобразований, отличные от DCT-типа II, используются в более новых видеокодеках. Например, в HEVC, целочисленная аппроксимация 4-точечного дискретного синусного преобразования (DST) типа-VII используется для остатка внутреннего прогнозирования, при этом и теоретически доказывается, и экспериментально проверяется то, что DST-тип VII является более эффективным, чем DCT-тип II для остаточных векторов, сформированных вдоль направлений внутреннего прогнозирования, например, DST-тип VII является более эффективным, чем DCT-тип II для остаточных векторов-строк, сформированных посредством направления горизонтального внутреннего прогнозирования. В HEVC, целочисленная аппроксимация 4-точечного DST-типа VII применяется только для остаточных блоков внутреннего прогнозирования сигналов яркости 4×4. 4-точечное DST-VII, используемое в HEVC, показывается ниже:

[0092] DST-VII 4×4:

{29, 55, 74, 84}

{74, 74, 0,-74}

{84,-29,-74, 55}

{55,-84, 74,-29}

[0093] В HEVC, для остаточных блоков, которые не представляют собой остаточные блоки внутреннего прогнозирования сигналов яркости 4×4, целочисленные аппроксимации 4-точечного, 8-точечного, 16-точечного и 32-точечного DCT-типа II также применяются, как показано ниже:

[0094] 4-точечное DCT-II:

{64, 64, 64, 64}

{83, 36,-36,-83}

{64,-64,-64, 64}

{36,-83, 83,-36}

[0095] 8-точечное DCT-II:

{64, 64, 64, 64, 64, 64, 64, 64}

{89, 75, 50, 18,-18,-50,-75,-89}

{83, 36,-36,-83,-83,-36, 36, 83}

{75,-18,-89,-50, 50, 89, 18,-75}

{64,-64,-64, 64, 64,-64,-64, 64}

{50,-89, 18, 75,-75,-18, 89,-50}

{36,-83, 83,-36,-36, 83,-83, 36}

{18,-50, 75,-89, 89,-75, 50,-18}

[0096] 16-точечное DCT-II:

{64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64, 64}

{90, 87, 80, 70, 57, 43, 25, 9, -9,-25,-43,-57,-70,-80,-87,-90}

{89, 75, 50, 18,-18,-50,-75,-89,-89,-75,-50,-18, 18, 50, 75, 89}

{87, 57, 9,-43,-80,-90,-70,-25, 25, 70, 90, 80, 43, -9,-57,-87}

{83, 36,-36,-83,-83,-36, 36, 83, 83, 36,-36,-83,-83,-36, 36, 83}

{80, 9,-70,-87,-25, 57, 90, 43,-43,-90,-57, 25, 87, 70, -9,-80}

{75,-18,-89,-50, 50, 89, 18,-75,-75, 18, 89, 50,-50,-89,-18, 75}

{70,-43,-87, 9, 90, 25,-80,-57, 57, 80,-25,-90, -9, 87, 43,-70}

{64,-64,-64, 64, 64,-64,-64, 64, 64,-64,-64, 64, 64,-64,-64, 64}

{57,-80,-25, 90, -9,-87, 43, 70,-70,-43, 87, 9,-90, 25, 80,-57}

{50,-89, 18, 75,-75,-18, 89,-50,-50, 89,-18,-75, 75, 18,-89, 50}

{43,-90, 57, 25,-87, 70, 9,-80, 80, -9,-70, 87,-25,-57, 90,-43}

{36,-83, 83,-36,-36, 83,-83, 36, 36,-83, 83,-36,-36, 83,-83, 36}

{25,-70, 90,-80, 43, 9,-57, 87,-87, 57, -9,-43, 80,-90, 70,-25}

{18,-50, 75,-89, 89,-75, 50,-18,-18, 50,-75, 89,-89, 75,-50, 18}

{9, -25, 43,-57, 70,-80, 87,-90, 90,-87, 80,-70, 57,-43, 25, -9}

[0097] 32-точечное DCT-II:

{64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64}

{90,90,88,85,82,78,73,67,61,54,46,38,31,22,13,4,-4,-13,-22,-31,-38,-46,-54,-61,-67,-73,-78,-82,-85,-88,-90,-90}

{90,87,80,70,57,43,25,9,-9,-25,-43,-57,-70,-80,-87,-90,-90,-87,-80,-70,-57,-43,-25,-9,9,25,43,57,70,80,87,90}

{90,82,67,46,22,-4,-31,-54,-73,-85,-90,-88,-78,-61,-38,-13,13,38,61,78,88,90,85,73,54,31,4,-22,-46,-67,-82,-90}

{89,75,50,18,-18,-50,-75,-89,-89,-75,-50,-18,18,50,75,89,89,75,50,18,-18,-50,-75,-89,-89,-75,-50,-18,18,50,75,89}

{88,67,31,-13,-54,-82,-90,-78,-46,-4,38,73,90,85,61,22,-22,-61,-85,-90,-73,-38,4,46,78,90,82,54,13,-31,-67,-88}

{87,57,9,-43,-80,-90,-70,-25,25,70,90,80,43,-9,-57,-87,-87,-57,-9,43,80,90,70,25,-25,-70,-90,-80,-43,9,57,87}

{85,46,-13,-67,-90,-73,-22,38,82,88,54,-4,-61,-90,-78,-31,31,78,90,61,4,-54,-88,-82,-38,22,73,90,67,13,-46,-85}

{83,36,-36,-83,-83,-36,36,83,83,36,-36,-83,-83,-36,36,83,83,36,-36,-83,-83,-36,36,83,83,36,-36,-83,-83,-36,36,83}

{82,22,-54,-90,-61,13,78,85,31,-46,-90,-67,4,73,88,38,-38,-88,-73,-4,67,90,46,-31,-85,-78,-13,61,90,54,-22,-82}

{80,9,-70,-87,-25,57,90,43,-43,-90,-57,25,87,70,-9,-80,-80,-9,70,87,25,-57,-90,-43,43,90,57,-25,-87,-70,9,80}

{78,-4,-82,-73,13,85,67,-22,-88,-61,31,90,54,-38,-90,-46,46,90,38,-54,-90,-31,61,88,22,-67,-85,-13,73,82,4,-78}

{75,-18,-89,-50,50,89,18,-75,-75,18,89,50,-50,-89,-18,75,75,-18,-89,-50,50,89,18,-75,-75,18,89,50,-50,-89,-18,75}

{73,-31,-90,-22,78,67,-38,-90,-13,82,61,-46,-88,-4,85,54,-54,-85,4,88,46,-61,-82,13,90,38,-67,-78,22,90,31,-73}

{70,-43,-87,9,90,25,-80,-57,57,80,-25,-90,-9,87,43,-70,-70,43,87,-9,-90,-25,80,57,-57,-80,25,90,9,-87,-43,70}

{67,-54,-78,38,85,-22,-90,4,90,13,-88,-31,82,46,-73,-61,61,73,-46,-82,31,88,-13,-90,-4,90,22,-85,-38,78,54,-67}

{64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64,64,-64,-64,64}

{61,-73,-46,82,31,-88,-13,90,-4,-90,22,85,-38,-78,54,67,-67,-54,78,38,-85,-22,90,4,-90,13,88,-31,-82,46,73,-61}

{57,-80,-25,90,-9,-87,43,70,-70,-43,87,9,-90,25,80,-57,-57,80,25,-90,9,87,-43,-70,70,43,-87,-9,90,-25,-80,57}

{54,-85,-4,88,-46,-61,82,13,-90,38,67,-78,-22,90,-31,-73,73,31,-90,22,78,-67,-38,90,-13,-82,61,46,-88,4,85,-54}

{50,-89,18,75,-75,-18,89,-50,-50,89,-18,-75,75,18,-89,50,50,-89,18,75,-75,-18,89,-50,-50,89,-18,-75,75,18,-89,50}

{46,-90,38,54,-90,31,61,-88,22,67,-85,13,73,-82,4,78,-78,-4,82,-73,-13,85,-67,-22,88,-61,-31,90,-54,-38,90,-46}

{43,-90,57,25,-87,70,9,-80,80,-9,-70,87,-25,-57,90,-43,-43,90,-57,-25,87,-70,-9,80,-80,9,70,-87,25,57,-90,43}

{38,-88,73,-4,-67,90,-46,-31,85,-78,13,61,-90,54,22,-82,82,-22,-54,90,-61,-13,78,-85,31,46,-90,67,4,-73,88,-38}

{36,-83,83,-36,-36,83,-83,36,36,-83,83,-36,-36,83,-83,36,36,-83,83,-36,-36,83,-83,36,36,-83,83,-36,-36,83,-83,36}

{31,-78,90,-61,4,54,-88,82,-38,-22,73,-90,67,-13,-46,85,-85,46,13,-67,90,-73,22,38,-82,88,-54,-4,61,-90,78,-31}

{25,-70,90,-80,43,9,-57,87,-87,57,-9,-43,80,-90,70,-25,-25,70,-90,80,-43,-9,57,-87,87,-57,9,43,-80,90,-70,25}

{22,-61,85,-90,73,-38,-4,46,-78,90,-82,54,-13,-31,67,-88,88,-67,31,13,-54,82,-90,78,-46,4,38,-73,90,-85,61,-22}

{18,-50,75,-89,89,-75,50,-18,-18,50,-75,89,-89,75,-50,18,18,-50,75,-89,89,-75,50,-18,-18,50,-75,89,-89,75,-50,18}

{13,-38,61,-78,88,-90,85,-73,54,-31,4,22,-46,67,-82,90,-90,82,-67,46,-22,-4,31,-54,73,-85,90,-88,78,-61,38,-13}

{9,-25,43,-57,70,-80,87,-90,90,-87,80,-70,57,-43,25,-9,-9,25,-43,57,-70,80,-87,90,-90,87,-80,70,-57,43,-25,9}

{4,-13,22,-31,38,-46,54,-61,67,-73,78,-82,85,-88,90,-90,90,-90,88,-85,82,-78,73,-67,61,-54,46,-38,31,-22,13,-4}

[0098] Схема преобразования на основе остаточного дерева квадрантов в HEVC

[0099] Чтобы адаптировать различные характеристики остаточных блоков, структура кодирования с преобразованием с использованием остаточного дерева квадрантов (RQT) применяется в HEVC, которая кратко описывается в http://www.hhi.fraunhofer. de/fields-of-competence/image-processing/research-groups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html. В RQT, каждый кадр разделяется на единицы дерева кодирования (CTU), которые кодируются в порядке растрового сканирования для конкретной плитки или среза. CTU представляет собой квадратный блок и представляет корень дерева квадрантов, т.е. дерева кодирования. CTU-размер может варьироваться от 8×8 до 64×64 выборок сигнала яркости, но типично используется 64×64. Каждая CTU дополнительно может разбиваться на меньшие квадратные блоки, называемые "единицами кодирования (CU)". После того, как CTU разбивается рекурсивно на CU, каждая CU дополнительно разделяется на единицы прогнозирования (PU) и единицы преобразования (TU).

[0100] Сегментация CU на TU может выполняться рекурсивно на основе подхода на основе дерева квадрантов, в силу чего остаточный сигнал каждой CU кодируется посредством древовидной структуры, а именно, остаточного дерева квадрантов (RQT). RQT обеспечивает возможность TU-размеров от 4×4 вплоть до 32×32 выборок сигнала яркости. Фиг. 2C показывает пример, в котором CU включает в себя 10 TU, помеченных буквами a-j, и соответствующую сегментацию на блоки. Каждый узел RQT фактически представляет собой единицу преобразования (TU). Отдельные TU могут обрабатываться в порядке прохождения по дереву в глубину, который проиллюстрирован на фиг. 3A, в качестве алфавитного порядка, который соответствует рекурсивному Z-сканированию с прохождением в глубину.

[0101] Подход на основе дерева квадрантов обеспечивает адаптацию преобразования к варьирующимся пространственно-частотным характеристикам остаточного сигнала. Типично, большие размеры блоков преобразования, которые имеют большую пространственную поддержку, предоставляют лучшее частотное разрешение. Тем не менее, меньшие размеры блоков преобразования, которые имеют меньшую пространственную поддержку, могут предоставлять лучшее пространственное разрешение. Компромисс между двумя, пространственным и частотным разрешениями, может выбираться посредством решения по выбору режима для кодера, например, на основе технологии оптимизации искажения в зависимости от скорости передачи. Видеокодер может выполнять технологию оптимизации искажения в зависимости от скорости передачи, чтобы вычислять взвешенную сумму битов кодирования и искажения при восстановлении, т.е. функцию затрат на искажение в зависимости от скорости передачи, для каждого режима кодирования (например, для конкретной структуры RQT-разбиения), и выбирать режим кодирования с наименьшей функцией затрат на искажение в зависимости от скорости передачи в качестве оптимального режима.

[0102] Три параметра могут задаваться в RQT: максимальная глубина дерева, минимальный разрешенный размер преобразования и максимальный разрешенный размер преобразования. Минимальный и максимальный размеры преобразования могут варьироваться в диапазоне от 4×4 до 32×32 выборок, которые соответствуют поддерживаемым блочным преобразованиям, упомянутым в предыдущем параграфе. Максимальная разрешенная глубина RQT ограничивает число TU. Максимальная глубина, равная нулю, означает то, что CB не может разбиваться дальше, если каждая включенная TB достигает максимального разрешенного размера преобразования, например, 32×32.

[0103] Все эти параметры взаимодействуют и оказывают влияние на RQT-структуру. Рассмотрим случай, в котором корневой CB-размер составляет 64×64, максимальная глубина равна нулю, и максимальный размер преобразования равен 32×32. В этом случае, CB должен сегментироваться, по меньшей мере, один раз, поскольку в противном случае это должно приводить к TB 64×64, что не разрешается. RQT-параметры, т.е. максимальная RQT-глубина, минимальный и максимальный размер преобразования, передаются в потоке битов на уровне наборов параметров последовательности. Относительно RQT-глубины, различные значения могут указываться и передаваться в служебных сигналах для внутренних и взаимно кодированных CU.

[0104] Преобразование на основе дерева квадрантов применяется для внутренних и взаимных остаточных блоков. Типично, DCT-II-преобразование идентичного размера текущего сегмента остаточного дерева квадрантов применяется для остаточного блока. Тем не менее, если текущий блок остаточного дерева квадрантов составляет 4×4 и формируется посредством внутреннего прогнозирования, применяется вышеуказанное DST-VII-преобразование 4×4.

[0105] В HEVC, преобразования большего размера, например, преобразование 64×64, не приспосабливаются главным образом вследствие фактора своего ограниченного преимущества и относительно высокой сложности для видео относительно меньшего разрешения.

[0106] Как отмечено выше, после преобразований для того, чтобы формировать коэффициенты преобразования, видеокодер 200 может выполнять квантование коэффициентов преобразования. Квантование, в общем, означает процесс, в котором коэффициенты преобразования квантуются, чтобы, возможно, уменьшать объем данных, используемых для того, чтобы представлять коэффициенты, обеспечивая дополнительное сжатие. Посредством выполнения процесса квантования, видеокодер 200 может уменьшать битовую глубину, ассоциированную с некоторыми или всеми коэффициентами. Например, видеокодер 200 может округлять n-битовое значение в меньшую сторону до m-битового значения во время квантования, где n превышает m. В некоторых примерах, чтобы выполнять квантование, видеокодер 200 может выполнять побитовый сдвиг вправо значения, которое должно квантоваться.

[0107] После квантования, видеокодер 200 может сканировать коэффициенты преобразования, формирующие одномерный вектор, из двумерной матрицы, включающей в себя квантованные коэффициенты преобразования. Сканирование может проектироваться с возможностью размещать коэффициенты с более высокой энергией (и в силу этого с более низкой частотой) в начале вектора и размещать коэффициенты с более низкой энергией (и в силу этого с более высокой частотой) в конце вектора. В некоторых примерах, видеокодер 200 может использовать предварительно заданный порядок сканирования для того, чтобы сканировать квантованные коэффициенты преобразования, чтобы формировать преобразованный в последовательную форму вектор, и затем энтропийно кодировать квантованные коэффициенты преобразования вектора. В других примерах, видеокодер 200 может выполнять адаптивное сканирование. После сканирования квантованных коэффициентов преобразования, чтобы формировать одномерный вектор, видеокодер 200 может энтропийно кодировать одномерный вектор, например, согласно контекстно-адаптивному двоичному арифметическому кодированию (CABAC). Видеокодер 200 также может энтропийно кодировать другие синтаксические элементы, описывающие метаданные, ассоциированные с кодированными видеоданными, для использования посредством видеодекодера 300 при декодировании видеоданных.

[0108] Чтобы выполнять CABAC, видеокодер 200 может назначать контекст в контекстной модели символу, который должен передаваться. Контекст может быть связан, например, с тем, являются соседние значения символа нульзначными или нет. Определение вероятности может быть основано на контексте, назначаемом символу.

[0109] Видеокодер 200 дополнительно может формировать синтаксические данные, к примеру, синтаксические данные на основе блоков, синтаксические данные на основе кадров и синтаксические данные на основе последовательностей, в видеодекодер 300, например, в заголовке кадра, заголовке блока, заголовке среза, либо другие синтаксические данные, к примеру, набор параметров последовательности (SPS), набор параметров кадра (PPS) или набор параметров видео (VPS). Видеодекодер 300 аналогично может декодировать такие синтаксические данные для того, чтобы определять то, как декодировать соответствующие видеоданные.

[0110] Таким образом, видеокодер 200 может формировать поток битов, включающий в себя кодированные видеоданные, например, синтаксические элементы, описывающие сегментацию кадра на блоки (например, CU), и информацию прогнозирования и/или остаточную информацию для блоков. В конечном счете, видеодекодер 300 может принимать поток битов и декодировать кодированные видеоданные.

[0111] В общем, видеодекодер 300 выполняет взаимообратный процесс относительно процесса, выполняемого посредством видеокодера 200, чтобы декодировать кодированные видеоданные потока битов. Например, видеодекодер 300 может декодировать значения для синтаксических элементов потока битов с использованием CABAC способом, практически аналогичным, хотя и взаимообратным, относительно процесса CABAC-кодирования видеокодера 200. Синтаксические элементы могут задавать сегментацию информации кадра на CTU и сегментацию каждой CTU согласно соответствующей структуре сегментации, такой как QTBT-структура, чтобы задавать CU CTU. Синтаксические элементы дополнительно могут задавать информацию прогнозирования и остаточную информацию для блоков (например, CU) видеоданных.

[0112] Остаточная информация может представляться, например, посредством квантованных коэффициентов преобразования. Видеодекодер 300 может обратно квантовать и обратно преобразовывать квантованные коэффициенты преобразования блока для того, чтобы воспроизводить остаточный блок для блока. Видеодекодер 300 использует передаваемый в служебных сигналах режим прогнозирования (внутреннее или взаимное прогнозирование) и связанную информацию прогнозирования (например, информацию движения для взаимного прогнозирования) для того, чтобы формировать прогнозный блок для блока. Видеодекодер 300 затем может комбинировать блок прогнозирования и остаточный блок (на основе каждой выборки), чтобы воспроизводить исходный блок. Видеодекодер 300 может выполнять дополнительную обработку, такую как выполнение процесса удаления блочности, чтобы уменьшать визуальные артефакты вдоль границ блока.

[0113] В соответствии с технологиями этого раскрытия сущности, видеокодер (т.е. видеокодер 200 и/или видеодекодер 300) может извлекать, для текущего блока коэффициентов видеоблока, тип преобразования из множества типов преобразования. Видеокодер может преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования (например, блок коэффициентов), чтобы получать блок восстановленных остаточных данных для видеоблока; и восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок.

[0114] Видеокодер может логически выводить тип преобразования на основе факторов, отличных от явно выраженной передачи в служебных сигналах типа преобразования. В связи с этим, видеокодер может опускать кодирование синтаксического элемента, который явно идентифицирует тип преобразования для текущего блока. Некоторые примеры факторов, из которых видеокодер может логически выводить тип преобразования, включают в себя размер текущего блока (например, высоту и/или ширину текущего блока), то, сегментируется или нет текущий блок с использованием внутренней сегментации на субблоки (ISP), и внутренний режим текущего блока. Видеокодер может логически выводить тип преобразования на основе любой комбинации факторов. Например, видеокодер может логически выводить тип преобразования для текущего блока преобразования текущего видеоблока на основе размера текущего блока преобразования и того, сегментируется или нет текущий видеоблок с использованием ISP. По меньшей мере, в некоторых из таких примеров, видеокодер может логически выводить тип преобразования для текущего блока преобразования независимо от режима внутреннего прогнозирования, используемого для того, чтобы прогнозировать текущий видеоблок.

[0115] Видеокодер может выбирать тип преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST). Как подробнее пояснено ниже, одно или более DCT могут включать в себя одно или более из DCT-1, DCT-2, DCT-3, DCT-4, DCT-5, DCT-6, DCT-7 и DCT-8, и/или одно или более DST могут включать в себя одно или более из DST-1, DST-2, DST-3, DST-4, DST-5, DST-6, DST-7 и DST-8.

[0116] Как пояснено выше, видеокодер может логически выводить тип преобразования для текущего блока преобразования на основе размера текущего блока преобразования. Например, видеокодер может выбирать первый тип преобразования для текущего блока преобразования в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и выбирать второй тип преобразования для текущего блока преобразования в ответ на определение того, что размер текущего блока преобразования не удовлетворяет пороговому значению размера. В некоторых примерах, видеокодер может определять то, удовлетворяет или нет размер текущего блока преобразования пороговому значению размера, посредством сравнения размера текущего блока преобразования с одним пороговым значением. В других примерах, видеокодер может определять то, удовлетворяет или нет размер текущего блока преобразования пороговому значению размера, посредством определения того, больше размер текущего блока преобразования нижней границы (например, 2, 4, 6) и меньше верхней границы (например, 8, 16, 32) или нет. Если размер текущего блока преобразования больше нижней границы и меньше верхней границы, видеокодер может определять то, что размер текущего блока преобразования удовлетворяет пороговому значению размера. Аналогично, если размер текущего блока преобразования меньше нижней границы или больше верхней границы, видеокодер может определять то, что размер текущего блока преобразования не удовлетворяет пороговому значению размера.

[0117] Если текущий видеоблок представляет собой единицу кодирования (CU), CU может сегментироваться на множество субсегментов с использованием ISP. Каждый из субсегментов может иметь ассоциированный блок преобразования. В связи с этим, если CU сегментируется с использованием ISP, множество блоков преобразования могут быть ассоциированы с CU. Например, CU 16×16 может вертикально сегментироваться на четыре сегмента размера 4×16, каждый из которых ассоциирован с блоком преобразования размера 4×16.

[0118] Как пояснено выше, видеокодер может логически выводить тип преобразования для текущего блока преобразования текущего видеоблока на основе того, сегментируется или нет текущий видеоблок с использованием ISP, и на основе размера текущего блока преобразования. В качестве одного примера, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, видеокодер может выбирать конкретное DST из одного или более DST (например, DST-7) в качестве типа преобразования для текущего блока преобразования. В качестве другого примера, в ответ на определение того, что размер текущего блока преобразования не удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, видеокодер может выбирать конкретное DCT из одного или более DCT (например, DCT-2) в качестве типа преобразования для текущего блока преобразования. В любом из вышеуказанных примеров, видеокодер может выбирать тип преобразования, что содержит выбор типа преобразования независимо от режима внутреннего прогнозирования, используемого для того, чтобы прогнозировать текущий видеоблок (например, независимо от углового, DC- или планарного режима, используемого для того, чтобы внутренне прогнозировать текущее видео).

[0119] В некоторых примерах, видеокодер может всегда выполнять логический вывод типа преобразования. В других примерах, видеокодер может выполнять логический вывод типа преобразования при определенных условиях. Например, видеокодер может логически выводить тип преобразования для текущего блока преобразования в ответ на определение того, что множественный выбор преобразования (MTS) активируется для текущего видеоблока. Видеокодер, в некоторых примерах, может определять то, активируется или нет MTS для текущего видеоблока, на основе значений одного или более синтаксических элементов (например, sps_explicit_mts_intra_enabled_flag).

[0120] Видеокодер, в некоторых примерах, может логически выводить тип преобразования для выполнения горизонтального преобразования (т.е. тип преобразования для горизонтального варианта использования) и логически выводить тип преобразования для выполнения вертикального преобразования (т.е. тип преобразования для вертикального варианта использования). Видеокодер может логически выводить типы преобразования для горизонтального и вертикального варианта использования с использованием общего алгоритма. Например, видеокодер может логически выводить тип преобразования для горизонтального варианта использования на основе того, удовлетворяет или нет ширина текущего блока преобразования пороговому значению размера по ширине, и того, сегментируется или нет текущий видеоблок, который включает в себя текущий блок преобразования, с использованием ISP, и логически выводить тип преобразования для вертикального варианта использования на основе того, удовлетворяет или нет высота текущего блока преобразования пороговому значению размера по высоте, и того, сегментируется или нет текущий видеоблок, который включает в себя текущий блок преобразования, с использованием ISP. В некоторых примерах, видеокодер может использовать идентичное пороговое значение размера для логического вывода типа горизонтального и вертикального преобразования. Например, если пороговые значения размера включают в себя верхнюю границу и нижнюю границу, верхняя и нижняя границы порогового значения размера по ширине могут быть равными верхней и нижней границам порогового значения размера по высоте. В качестве одного конкретного примера, нижняя граница пороговых значений ширины и высоты может быть равной 4, и верхняя граница пороговых значений ширины и высоты может быть равной 16.

[0121] В некоторых примерах, чтобы извлекать (т.е. логически выводить) тип преобразования для текущего блока коэффициентов, видеокодер может выбирать DST-7-преобразование, чтобы преобразовывать любую строку или столбец с менее чем или равным пороговому (например, 8, 16, 32) числу выборок (например, выборок сигнала яркости), и выбирать DCT-2-преобразование, чтобы преобразовывать любую строку или столбец с большим порогового числа выборок.

[0122] Относительно VVC-проекта 4 (например, JVET-M1001), пример предложенного изменения может достигаться посредством замены таблицы 8-15 со следующим:

trTypeHor=(nTbW>=2 andand nTbW<=16)?1:0

trTypeVer=(nTbH>=2 andand nTbH<=16)?1:0,

где "0" и "1" обозначают DCT-2 и DST-7, соответственно.

[0123] В блоках, сегментированных с использованием ISP, может запрещаться наличие строк/столбцов только с двумя выборками. В связи с этим, это раскрытие сущности предлагает 2-точечное DST-7. Записи 2-точечной DST-7-матрицы могут быть следующими (что вводит только 4 байта дополнительного запоминающего устройства):

{48, 77}

{77, -48}

[0124] Альтернативно, пример предложенного изменения может достигаться посредством модификации VVC-проекта 4 следующим образом:

trTypeHor=(nTbW>=4 andand nTbW<=16 andand nTbW<=nTbH)?1:0 (8-1029)

trTypeVer=(nTbH>=4 andand nTbH<=16 andand nTbH<=nTbW)?1:0 (8-1030),

где "0" и "1" обозначают DCT-2 и DST-7, соответственно, и изменения (т.е. удаленные части) выделены подчеркиванием и курсивом.

[0125] Это раскрытие сущности, в общем, может относиться к "передаче в служебных сигналах" определенной информации, такой как синтаксические элементы. Термин "передача служебных сигналов", в общем, может означать передачу значений синтаксических элементов и/или других данных, используемых для того, чтобы декодировать кодированных видеоданные. Таким образом, видеокодер 200 может передавать в служебных сигналах значения для синтаксических элементов в потоке битов. В общем, передача служебных сигналов означает формирование значения в потоке битов. Как отмечено выше, исходное устройство 102 может транспортировать поток битов в целевое устройство 116 практически в реальном времени или не в реальном времени, к примеру, что может происходить при сохранении синтаксических элементов в устройство 112 хранения данных для последующего извлечения посредством целевого устройства 116.

[0126] Фиг. 2A и 2B является концептуальной схемой, иллюстрирующей примерную структуру 130 в виде дерева квадрантов и двоичного дерева (QTBT) и соответствующую единицу 132 дерева кодирования (CTU). Сплошные линии представляют разбиение на дерево квадрантов, и пунктирные линии указывают разбиение на двоичное дерево. В каждом разбитом (т.е. нелисте) узле двоичного дерева, один флаг передается в служебных сигналах, чтобы указывать то, какой тип разбиения (т.е. горизонтальное или вертикальное) используется, где 0 указывает горизонтальное разбиение, и 1 указывает вертикальное разбиение в этом примере. Для разбиения на дерево квадрантов, нет необходимости указывать тип разбиения, поскольку узлы дерева квадрантов разбивают блок горизонтально и вертикально на 4 субблока с равным размером. Соответственно, видеокодер 200 может кодировать, и видеодекодер 300 может декодировать синтаксические элементы (к примеру, информацию разбиения) для древовидного уровня области QTBT-структуры 130 (т.е. сплошные линии) и синтаксические элементы (к примеру, информацию разбиения) для древовидного уровня прогнозирования QTBT-структуры 130 (т.е. пунктирные линии). Видеокодер 200 может кодировать, и видеодекодер 300 может декодировать видеоданные, такие как данные прогнозирования и преобразования, для CU, представленных посредством терминальных узлов-листьев QTBT-структуры 130.

[0127] В общем, CTU 132 по фиг. 2B может быть ассоциирована с параметрами, задающими размеры блоков, соответствующих узлам QTBT-структуры 130 на первом и втором уровнях. Эти параметры могут включать в себя CTU-размер (представляющий размер CTU 132 в выборках), минимальный размер дерева квадрантов (MinQTSize, представляющий минимальный разрешенный размер узлов-листьев дерева квадрантов), максимальный размер двоичного дерева (MaxBTSize, представляющий максимальный разрешенный размер корневых узлов двоичного дерева), максимальную глубину двоичного дерева (MaxBTDepth, представляющий максимальную разрешенную глубину двоичного дерева) и минимальный размер двоичного дерева (MinBTSize, представляющий минимальный разрешенный размер узлов-листьев двоичного дерева).

[0128] Корневой узел QTBT-структуры, соответствующей CTU, может иметь четыре дочерних узла на первом уровне QTBT-структуры, каждый из которых может сегментироваться согласно сегментации на основе дерева квадрантов. Таким образом, узлы первого уровня либо представляют собой узлы-листья (имеющие дочерние узлы), либо имеют четыре дочерних узла. Пример QTBT-структуры 130 представляет такие узлы как включающие в себя родительский узел и дочерние узлы, имеющие сплошные линии для ветвей. Если узлы первого уровня не превышают максимальный разрешенный размер корневых узлов двоичного дерева (MaxBTSize), они дополнительно могут сегментироваться посредством соответствующих двоичных деревьев. Разбиение на двоичное дерево одного узла может обрабатываться с помощью итераций до тех пор, пока узлы, получающиеся в результате разбиения, не достигают минимального разрешенного размера узлов-листьев двоичного дерева (MinBTSize) или максимальной разрешенной глубины двоичного дерева (MaxBTDepth). Пример QTBT-структуры 130 представляет такие узлы как имеющие пунктирные линии для ветвей. Узел-лист двоичного дерева называется "единицей кодирования (CU)", которая используется для прогнозирования (например, внутрикадрового или межкадрового прогнозирования) и преобразования, без дальнейшей сегментации. Как пояснено выше, CU также могут называться "видеоблоками" или "блоками".

[0129] В одном примере QTBT-структуры сегментации, CTU-размер задается как 128×128 (выборки сигнала яркости и две соответствующих выборки сигнала цветности 64×64), MinQTSize задается как 16×16, MaxBTSize задается как 64×64, MinBTSize (для ширины и высоты) задается как 4, и MaxBTDepth задается как 4. Сегментация на основе дерева квадрантов применяется к CTU сначала, чтобы формировать узлы-листья дерева квадрантов. Узлы-листья дерева квадрантов могут иметь размер от 16×16 (т.е. от MinQTSize) до 128×128 (т.е. до CTU-размера). Если узел-лист дерева квадрантов представляет собой 128×128, то он не должен дополнительно разбиваться посредством двоичного дерева, поскольку размер превышает MaxBTSize (т.е. 64×64, в этом примере). В противном случае, узел-лист дерева квадрантов дополнительно сегментируется посредством двоичного дерева. Следовательно, узел-лист дерева квадрантов также представляет собой корневой узел для двоичного дерева и имеет глубину двоичного дерева в 0. Когда глубина двоичного дерева достигает MaxBTDepth (4, в этом примере), дополнительное разбиение не разрешается. Когда узел двоичного дерева имеет ширину, равную MinBTSize (4, в этом примере), это подразумевает то, что дополнительное горизонтальное разбиение не разрешается. Аналогично, узел двоичного дерева, имеющий высоту, равную MinBTSize, подразумевает то, что дополнительное вертикальное разбиение не разрешается для этого узла двоичного дерева. Как отмечено выше, узлы-листья двоичного дерева называются "CU" и дополнительно обрабатываются согласно прогнозированию и преобразованию без дополнительной сегментации.

[0130] Фиг. 3 является блок-схемой, иллюстрирующей примерный видеокодер 200, который может выполнять технологии этого раскрытия сущности. Фиг. 3 предоставляется для целей пояснения и не должен считаться ограничением технологий, проиллюстрированных и описанных в общих чертах в этом раскрытии сущности. Для целей пояснения, это раскрытие сущности описывает видеокодер 200 в контексте стандартов кодирования видео, таких как стандарт HEVC-кодирования видео и разрабатываемый стандарт кодирования видео H.266. Тем не менее, технологии этого раскрытия сущности не ограничены этими стандартами кодирования видео и являются, в общем, применимыми к кодированию и декодированию видео.

[0131] В примере по фиг. 3, видеокодер 200 включает в себя запоминающее устройство 230 видеоданных, модуль 202 выбора режима, модуль 204 формирования остатков, модуль 206 обработки преобразования, модуль 208 квантования, модуль 210 обратного квантования, модуль 212 обработки обратного преобразования, модуль 214 восстановления, модуль 216 фильтрации, буфер 218 декодированных кадров (DPB) и модуль 220 энтропийного кодирования. Любое из запоминающего устройства 230 видеоданных, модуля 202 выбора режима, модуля 204 формирования остатков, модуля 206 обработки преобразования, модуля 208 квантования, модуля 210 обратного квантования, модуля 212 обработки обратного преобразования, модуля 214 восстановления, модуля 216 фильтрации, DPB 218 и модуля 220 энтропийного кодирования может реализовываться в одном или более процессоров либо в схеме обработки. Кроме того, видеокодер 200 может включать в себя дополнительные или альтернативные процессоры либо схему обработки для того, чтобы выполнять эти и другие функции.

[0132] Запоминающее устройство 230 видеоданных может сохранять видеоданные, которые должны кодироваться посредством компонентов видеокодера 200. Видеокодер 200 может принимать видеоданные, сохраненные в запоминающем устройстве 230 видеоданных, например, из видеоисточника 104 (фиг. 1). DPB 218 может выступать в качестве запоминающего устройства опорных кадров, которое сохраняет опорные видеоданные для использования при прогнозировании последующих видеоданных посредством видеокодера 200. Запоминающее устройство 230 видеоданных и DPB 218 могут формироваться посредством любых из множества запоминающих устройств, к примеру, как динамическое оперативное запоминающее устройство (DRAM), включающее в себя синхронное DRAM (SDRAM), магниторезистивное RAM (MRAM), резистивное RAM (RRAM) или другие типы запоминающих устройств. Запоминающее устройство 230 видеоданных и DPB 218 могут предоставляться посредством идентичного запоминающего устройства или отдельных запоминающих устройств. В различных примерах, запоминающее устройство 230 видеоданных может быть внутримикросхемным с другими компонентами видеокодера 200, как проиллюстрировано, или внемикросхемным относительно этих компонентов.

[0133] В этом раскрытии сущности, ссылка на запоминающее устройство 230 видеоданных не должна интерпретироваться как ограниченная запоминающим устройством, внутренним для видеокодера 200, если не описывается конкретно в таком качестве, или запоминающим устройством, внешним для видеокодера 200, если не описывается конкретно в таком качестве. Наоборот, ссылка на запоминающее устройство 230 видеоданных должна пониматься как опорное запоминающее устройство, которое сохраняет видеоданные, которые видеокодер 200 принимает для кодирования (например, видеоданные для текущего блока, который должен кодироваться). Запоминающее устройство 106 по фиг. 1 также может предоставлять временное хранение выводов из различных модулей видеокодера 200.

[0134] Различные модули по фиг. 3 проиллюстрированы для того, чтобы помогать в понимании операций, выполняемых посредством видеокодера 200. Модули могут реализовываться как фиксированные функциональные схемы, программируемые схемы либо комбинация вышеозначенного. Фиксированные функциональные схемы означают схемы, которые предоставляют конкретную функциональность и предварительно установлены в отношении операций, которые могут выполняться. Программируемые схемы означают схемы, которые могут программироваться с возможностью выполнять различные задачи и предоставлять гибкую функциональность в операциях, которые могут выполняться. Например, программируемые схемы могут выполнять программное обеспечение или микропрограммное обеспечение, которое инструктирует программируемым схемам работать способом, заданным посредством инструкций программного обеспечения или микропрограммного обеспечения. Фиксированные функциональные схемы могут выполнять программные инструкции (например, чтобы принимать параметры или выводить параметры), но типы операций, которые выполняют фиксированные функциональные схемы, в общем, являются неизменными. В некоторых примерах, один или более модулей могут представлять собой различные схемные блоки (фиксированные функциональные или программируемые), и в некоторых примерах, один или более модулей могут представлять собой интегральные схемы.

[0135] Видеокодер 200 может включать в себя арифметико-логические устройства (ALU), элементарные функциональные модули (EFU), цифровые схемы, аналоговые схемы и/или программируемые ядра, сформированные из программируемых схем. В примерах, в которых операции видеокодера 200 выполняются с использованием программного обеспечения, выполняемого посредством программируемых схем, запоминающее устройство 106 (фиг. 1) может сохранять объектный код программного обеспечения, которое видеокодер 200 принимает и выполняет, или другое запоминающее устройство в видеокодере 200 (не показано) может сохранять такие инструкции.

[0136] Запоминающее устройство 230 видеоданных выполнено с возможностью сохранять принимаемые видеоданные. Видеокодер 200 может извлекать кадр видеоданных из запоминающего устройства 230 видеоданных и предоставлять видеоданные в модуль 204 формирования остатков и модуль 202 выбора режима. Видеоданные в запоминающем устройстве 230 видеоданных могут представлять собой необработанные видеоданные, которые должны кодироваться.

[0137] Модуль 202 выбора режима включает в себя модуль 222 оценки движения, модуль 224 компенсации движения и модуль 226 внутреннего прогнозирования. Модуль 202 выбора режима может включать в себя дополнительные функциональные модули, чтобы выполнять прогнозирование видео в соответствии с другими режимами прогнозирования. В качестве примера, модуль 202 выбора режима может включать в себя модуль палитровой обработки, модуль внутриблочного копирования (который может представлять собой часть модуля 222 оценки движения и/или модуля 224 компенсации движения), модуль аффинной обработки, модуль обработки на основе линейной модели (LM) и т.п.

[0138] Модуль 202 выбора режима, в общем, координирует несколько проходов кодирования, чтобы тестировать комбинации параметров кодирования и результирующих значений искажения в зависимости от скорости передачи для таких комбинаций. Параметры кодирования могут включать в себя сегментацию CTU на CU, режимы прогнозирования для CU, типы преобразования для остаточных данных CU, параметры квантования для остаточных данных CU и т.д. Модуль 202 выбора режима в конечном счете может выбирать комбинацию параметров кодирования, имеющих значения искажения в зависимости от скорости передачи, которые лучше других тестированных комбинаций.

[0139] Видеокодер 200 может сегментировать кадр, извлеченный из запоминающего устройства 230 видеоданных, на последовательность CTU и инкапсулировать одну или более CTU в срезе. Модуль 210 выбора режима может сегментировать CTU кадра в соответствии с древовидной структурой, такой как QTBT-структура или структура в виде дерева квадрантов HEVC, описанного выше. Как описано выше, видеокодер 200 может формировать одну или более CU из сегментации CTU согласно древовидной структуре. Такая CU также, в общем, может называться "видеоблоком" или "блоком".

[0140] В общем, модуль 202 выбора режима также управляет своими компонентами (например, модулем 222 оценки движения, модулем 224 компенсации движения и модулем 226 внутреннего прогнозирования) таким образом, чтобы формировать блок прогнозирования для текущего блока (например, текущей CU либо, в HEVC, перекрывающейся части PU и TU). Для взаимного прогнозирования текущего блока, модуль 222 оценки движения может выполнять поиск движения для того, чтобы идентифицировать один или более тесно совпадающих опорных блоков в одном или более опорных кадров (например, в одном или более ранее кодированных кадров, сохраненных в DPB 218). В частности, модуль 222 оценки движения может вычислять значение, представляющее то, насколько аналогичным является потенциальный опорный блок относительно текущего блока, например, согласно сумме абсолютных разностей (SAD), сумме квадратов разности (SSD), средней абсолютной разности (MAD), среднеквадратическим разностям (MSD) и т.п. Модуль 222 оценки движения, в общем, может выполнять эти вычисления с использованием последовательных выборочных разностей между текущим блоком и рассматриваемым опорным блоком. Модуль 222 оценки движения может идентифицировать опорный блок, имеющий наименьшее значение, получающееся в результате этих вычислений, указывающее опорный блок, который наиболее тесно совпадает с текущим блоком.

[0141] Модуль 222 оценки движения может формировать один или более векторов движения (MV), которые задают позиции опорных блоков в опорных кадрах относительно позиции текущего блока в текущем кадре. Модуль 222 оценки движения затем может предоставлять векторы движения в модуль 224 компенсации движения. Например, для однонаправленного взаимного прогнозирования, модуль 222 оценки движения может предоставлять один вектор движения, тогда как для двунаправленного взаимного прогнозирования, модуль 222 оценки движения может предоставлять два вектора движения. Модуль 224 компенсации движения затем может формировать блок прогнозирования с использованием векторов движения. Например, модуль 224 компенсации движения может извлекать данные опорного блока с использованием вектора движения. В качестве другого примера, если вектор движения имеет точность в дробную часть выборки, модуль 224 компенсации движения может интерполировать значения для блока прогнозирования согласно одному или более интерполяционных фильтров. Кроме того, для двунаправленного взаимного прогнозирования, модуль 224 компенсации движения может извлекать данные для двух опорных блоков, идентифицированных посредством соответствующих векторов движения, и комбинировать извлеченные данные, например, посредством последовательного выборочного усреднения или усреднения со взвешиванием.

[0142] В качестве другого примера, для внутреннего прогнозирующего кодирования или внутреннего прогнозирующего кодирования, модуль 226 внутреннего прогнозирования может формировать блок прогнозирования из выборок, соседних с текущим блоком. Например, для направленных режимов, модуль 226 внутреннего прогнозирования, в общем, может математически комбинировать значения соседних выборок и заполнять эти вычисленные значения в заданном направлении для текущего блока для того, чтобы формировать блок прогнозирования. В качестве другого примера, для DC-режима, модуль 226 внутреннего прогнозирования может вычислять среднее соседних выборок по отношению к текущему блоку и формировать блок прогнозирования, который включает в себя это результирующее среднее для каждой выборки блока прогнозирования.

[0143] Модуль 202 выбора режима предоставляет блок прогнозирования в модуль 204 формирования остатков. Модуль 204 формирования остатков принимает необработанную некодированную версию текущего блока из запоминающего устройства 230 видеоданных и блок прогнозирования из модуля 202 выбора режима. Модуль 204 формирования остатков вычисляет последовательные выборочные разности между текущим блоком и блоком прогнозирования. Результирующие последовательные выборочные разности задают остаточный блок для текущего блока. В некоторых примерах, модуль 204 формирования остатков также может определять разности между выборочными значениями в остаточном блоке, чтобы формировать остаточный блок с использованием остаточной дифференциальной импульсно-кодовой модуляции (RDPCM). В некоторых примерах, модуль 204 формирования остатков может формироваться с использованием одной или более схем вычитателя, которые выполняют двоичное вычитание.

[0144] В примерах, в которых модуль 202 выбора режима сегментирует CU на PU, каждая PU может быть ассоциирована с единицей прогнозирования сигналов яркости и соответствующими единицами прогнозирования сигналов цветности. Видеокодер 200 и видеодекодер 300 могут поддерживать PU, имеющие различные размеры. Как указано выше, размер CU может означать размер блока кодирования сигналов яркости CU, и размер PU может означать размер единицы прогнозирования сигналов яркости PU. При условии, что размер конкретной CU составляет 2Nx2N, видеокодер 200 может поддерживать PU-размеры в 2Nx2N или NxN для внутреннего прогнозирования и симметричные PU-размеры в 2Nx2N, 2NxN, Nx2N, NxN или аналогичные для взаимного прогнозирования. Видеокодер 200 и видеодекодер 300 также могут поддерживать асимметричное сегментирование для PU-размеров в 2NxnU, 2NxnD, nLx2N и nRx2N для взаимного прогнозирования.

[0145] В примерах, в которых модуль выбора режима дополнительно не сегментирует CU на PU, каждая CU может быть ассоциирована с блоком кодирования сигналов яркости и соответствующими блоками кодирования сигналов цветности. Как описано выше, размер CU может означать размер блока кодирования сигналов яркости CU. Видеокодер 200 и видеодекодер 120 могут поддерживать CU-размеры в 2Nx2N, 2NxN или Nx2N.

[0146] Для других технологий кодирования видео, таких как кодирование в режиме внутриблочного копирования, кодирование в аффинном режиме и кодирование в режиме на основе линейной модели (LM), в качестве нескольких примеров, модуль 202 выбора режима, через соответствующие модули, ассоциированные с технологиями кодирования, формирует прогнозный блок для кодируемого текущего блока. В некоторых примерах, таких как кодирование в палитровом режиме, модуль 202 выбора режима может не формировать блок прогнозирования и вместо этого формировать синтаксические элементы, которые указывают способ, которым следует восстанавливать блок на основе выбранной палитры. В таких режимах, модуль 202 выбора режима может предоставлять эти синтаксические элементы в модуль 220 энтропийного кодирования для кодирования.

[0147] Как описано выше, модуль 204 формирования остатков принимает видеоданные для текущего блока и соответствующего блока прогнозирования. Модуль 204 формирования остатков затем формирует остаточный блок для текущего блока. Чтобы формировать остаточный блок, модуль 204 формирования остатков вычисляет последовательные выборочные разности между блоком прогнозирования и текущим блоком.

[0148] Модуль 206 обработки преобразования применяет одно или более преобразований к остаточному блоку для того, чтобы формировать блок коэффициентов преобразования (называется в данном документе "блоком коэффициентов преобразования"). Модуль 206 обработки преобразования может применять различные преобразования к остаточному блоку для того, чтобы формировать блок коэффициентов преобразования. Например, модуль 206 обработки преобразования может применять дискретное косинусное преобразование (DCT), направленное преобразование, преобразование Карунена-Лоэва (KLT) или концептуально аналогичное преобразование к остаточному блоку. В некоторых примерах, модуль 206 обработки преобразования может выполнять несколько преобразований для остаточного блока, например, первичное преобразование и вторичное преобразование, такое как вращательное преобразование. В некоторых примерах, модуль 206 обработки преобразования не применяет преобразования к остаточному блоку. Как пояснено в данном документе, модуль 206 обработки преобразования может избирательно применять различные преобразования к различным блокам коэффициентов (т.е. к блокам коэффициентов преобразования).

[0149] Модуль 208 квантования может квантовать коэффициенты преобразования в блоке коэффициентов преобразования, чтобы формировать блок квантованных коэффициентов преобразования. Модуль 208 квантования может квантовать коэффициенты преобразования блока коэффициентов преобразования согласно значению параметра квантования (QP), ассоциированному с текущим блоком. Видеокодер 200 (например, через модуль 202 выбора режима) может регулировать степень квантования, применяемую к блокам коэффициентов, ассоциированным с текущим блоком, посредством регулирования QP-значения, ассоциированного с CU. Квантование может вводить потери информации, и в силу этого квантованные коэффициенты преобразования могут иметь меньшую точность, чем исходные коэффициенты преобразования, сформированные посредством модуля 206 обработки преобразования.

[0150] Модуль 210 обратного квантования и модуль 212 обработки обратного преобразования могут применять обратное квантование и обратные преобразования к блоку квантованных коэффициентов преобразования, соответственно, для того чтобы восстанавливать остаточный блок из блока коэффициентов преобразования. Модуль 214 восстановления может формировать восстановленный блок, соответствующий текущему блоку (хотя потенциально с определенной степенью искажения) на основе восстановленного остаточного блока и блока прогнозирования, сформированного посредством модуля 202 выбора режима. Например, модуль 214 восстановления может суммировать выборки восстановленного остаточного блока с соответствующими выборками из блока прогнозирования, сформированного посредством модуля 202 выбора режима, чтобы формировать восстановленный блок.

[0151] Модуль 216 фильтрации может выполнять одну или более операций фильтрации для восстановленных блоков. Например, модуль 216 фильтрации может выполнять операции удаления блочности, чтобы уменьшать артефакты блочности вдоль краев CU. Операции модуля 216 фильтрации могут пропускаться в некоторых примерах.

[0152] Видеокодер 200 сохраняет восстановленные блоки в DPB 218. Например, в примерах, в которых операции модуля 224 фильтрации не требуются, модуль 214 восстановления может сохранять восстановленные блоки в DPB 218. В примерах, в которых операции модуля 224 фильтрации необходимы, модуль 216 фильтрации может сохранять фильтрованные восстановленные блоки в DPB 218. Модуль 222 оценки движения и модуль 224 компенсации движения могут извлекать опорный кадр из DPB 218, сформированного из восстановленных (и потенциально фильтрованных) блоков для того, чтобы взаимно прогнозировать блоки последующих кодированных кадров. Помимо этого, модуль 226 внутреннего прогнозирования может использовать восстановленные блоки в DPB 218 текущего кадра, чтобы внутренне прогнозировать другие блоки в текущем кадре.

[0153] В общем, модуль 220 энтропийного кодирования может энтропийно кодировать синтаксические элементы, принимаемые из других функциональных компонентов видеокодера 200. Например, модуль 220 энтропийного кодирования может энтропийно кодировать блоки квантованных коэффициентов преобразования из модуля 208 квантования. В качестве другого примера, модуль 220 энтропийного кодирования может энтропийно кодировать синтаксические элементы прогнозирования (например, информацию движения для взаимного прогнозирования или информацию внутреннего режима для внутреннего прогнозирования) из модуля 202 выбора режима. Модуль 220 энтропийного кодирования может выполнять одну или более операций энтропийного кодирования для синтаксических элементов, которые представляют собой другой пример видеоданных, чтобы формировать энтропийно кодированные данные. Например, модуль 220 энтропийного кодирования может выполнять операцию контекстно-адаптивного кодирования переменной длины (CAVLC), CABAC-операцию, операцию кодирования переменно-переменной (V2V) длины, операцию синтаксического контекстно-адаптивного двоичного арифметического кодирования (SBAC), операцию энтропийного кодирования на основе сегментирования на интервалы вероятности (PIPE), операцию экспоненциального кодирования кодом Голомба или другой тип операции энтропийного кодирования для данных. В некоторых примерах, модуль 220 энтропийного кодирования может работать в обходном режиме, в котором синтаксические элементы не подвергаются энтропийному кодированию.

[0154] Видеокодер 200 может выводить поток битов, который включает в себя энтропийно кодированные синтаксические элементы, требуемые для того, чтобы восстанавливать блоки среза или кадра. В частности, модуль 220 энтропийного кодирования может выводить поток битов.

[0155] Операции, описанные выше, описываются относительно блока. Такое описание должно пониматься как операции для блока кодирования сигналов яркости и/или блоков кодирования сигналов цветности. Как описано выше, в некоторых примерах, блок кодирования сигналов яркости и блоки кодирования сигналов цветности представляют собой компоненты сигнала яркости и сигнала цветности CU. В некоторых примерах, блок кодирования сигналов яркости и блоки кодирования сигналов цветности представляют собой компоненты сигнала яркости и сигнала цветности PU.

[0156] В некоторых примерах, операции, выполняемые относительно блока кодирования сигналов яркости, не должны повторяться для блоков кодирования сигналов цветности. В качестве одного примера, операции для того, чтобы идентифицировать вектор движения (MV) и опорный кадр для блока кодирования сигналов яркости, не должны повторяться для идентификации MV и опорного кадра для блоков сигналов цветности. Наоборот, MV для блока кодирования сигналов яркости может масштабироваться с возможностью определять MV для блоков сигналов цветности, и опорный кадр может быть идентичным. В качестве другого примера, процесс внутреннего прогнозирования может быть идентичным для блоков кодирования сигналов яркости и блоков кодирования сигналов цветности.

[0157] Видеокодер 200 представляет пример устройства, выполненного с возможностью кодировать видеоданные, включающего в себя запоминающее устройство, выполненное с возможностью сохранять видеоданные, и один или более модулей обработки, реализованных в схеме и выполненных с возможностью извлекать, для текущего блока коэффициентов видеоблока, тип преобразования из множества типов преобразования. Видеокодер может преобразовывать, с использованием выбранного типа преобразования, текущий блок коэффициентов, с тем чтобы получать блок восстановленных остаточных данных для видеоблока; и восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок.

[0158] Фиг. 4 является блок-схемой, иллюстрирующей примерный видеодекодер 300, который может выполнять технологии этого раскрытия сущности. Фиг. 4 предоставляется для целей пояснения и не является ограничением технологий, проиллюстрированных и описанных в общих чертах в этом раскрытии сущности. Для целей пояснения, это раскрытие сущности описывает видеодекодер 300, описанный согласно технологиям JEM, VVC и HEVC. Тем не менее, технологии этого раскрытия сущности могут выполняться посредством устройств кодирования видео, которые сконфигурированы для других стандартов кодирования видео.

[0159] В примере по фиг. 4, видеодекодер 300 включает в себя буферное запоминающее устройство 320 кодированных кадров (CPB), модуль 302 энтропийного декодирования, модуль 304 обработки прогнозирования, модуль 306 обратного квантования, модуль 308 обработки обратного преобразования, модуль 310 восстановления, модуль 312 фильтрации и буфер 314 декодированных кадров (DPB). Любое из запоминающего CPB-устройства 320, модуля 302 энтропийного декодирования, модуля 304 обработки прогнозирования, модуля 306 обратного квантования, модуля 308 обработки обратного преобразования, модуля 310 восстановления, модуля 312 фильтрации и DPB 314 может реализовываться в одном или более процессоров либо в схеме обработки. Кроме того, видеодекодер 300 может включать в себя дополнительные или альтернативные процессоры либо схему обработки для того, чтобы выполнять эти и другие функции.

[0160] Модуль 304 обработки прогнозирования включает в себя модуль 316 компенсации движения и модуль 318 внутреннего прогнозирования. Модуль 304 обработки прогнозирования может включать в себя дополнительные модули для того, чтобы выполнять прогнозирование в соответствии с другими режимами прогнозирования. В качестве примера, модуль 304 обработки прогнозирования может включать в себя модуль палитровой обработки, модуль внутриблочного копирования (который может составлять часть модуля 318 компенсации движения), модуль аффинной обработки, модуль обработки на основе линейной модели (LM) и т.п. В других примерах, видеодекодер 300 может включать в себя большее, меньшее число или другие функциональные компоненты.

[0161] Запоминающее CPB-устройство 320 может сохранять видеоданные, такие как кодированный поток видеобитов, который должен декодироваться посредством компонентов видеодекодера 300. Видеоданные, сохраненные в запоминающем CPB-устройстве 320, могут получаться, например, из машиночитаемого носителя 110 (фиг. 1). Запоминающее CPB-устройство 320 может включать в себя CPB, который сохраняет кодированные видеоданные (например, синтаксические элементы) из кодированного потока видеобитов. Кроме того, запоминающее CPB-устройство 320 может сохранять видеоданные, отличные от синтаксических элементов кодированного кадра, такие как временные данные, представляющие выводы из различных модулей видеодекодера 300. DPB 314, в общем, сохраняет декодированные кадры, которые видеодекодер 300 может выводить и/или использовать в качестве опорных видеоданных при декодировании последующих данных или кадров кодированного потока видеобитов. Запоминающее CPB-устройство 320 и DPB 314 могут формироваться посредством любого из множества запоминающих устройств, к примеру, как динамическое оперативное запоминающее устройство (DRAM), включающее в себя синхронное DRAM (SDRAM), магниторезистивное RAM (MRAM), резистивное RAM (RRAM) или другие типы запоминающих устройств. Запоминающее CPB-устройство 320 и DPB 314 могут предоставляться посредством идентичного запоминающего устройства или отдельных запоминающих устройств. В различных примерах, запоминающее CPB-устройство 320 может быть внутримикросхемным с другими компонентами видеодекодера 300 или внемикросхемным относительно этих компонентов.

[0162] Дополнительно или альтернативно, в некоторых примерах, видеодекодер 300 может извлекать кодированные видеоданные из запоминающего устройства 120 (фиг. 1). Таким образом, запоминающее устройство 120 может сохранять данные, как пояснено выше для запоминающего CPB-устройства 320. Аналогично, запоминающее устройство 120 может сохранять инструкции, которые должны выполняться посредством видеодекодера 300, когда часть или вся функциональность видеодекодера 300 реализуется в программном обеспечении для выполнения посредством схемы обработки видеодекодера 300.

[0163] Различные модули, показанные на фиг. 4, проиллюстрированы для того, чтобы помогать в понимании операций, выполняемых посредством видеодекодера 300. Модули могут реализовываться как фиксированные функциональные схемы, программируемые схемы либо комбинация вышеозначенного. Аналогично фиг. 3, фиксированные функциональные схемы означают схемы, которые предоставляют конкретную функциональность и предварительно установлены в отношении операций, которые могут выполняться. Программируемые схемы означают схемы, которые могут программироваться с возможностью выполнять различные задачи и предоставлять гибкую функциональность в операциях, которые могут выполняться. Например, программируемые схемы могут выполнять программное обеспечение или микропрограммное обеспечение, которое инструктирует программируемым схемам работать способом, заданным посредством инструкций программного обеспечения или микропрограммного обеспечения. Фиксированные функциональные схемы могут выполнять программные инструкции (например, чтобы принимать параметры или выводить параметры), но типы операций, которые выполняют фиксированные функциональные схемы, в общем, являются неизменными. В некоторых примерах, один или более модулей могут представлять собой различные схемные блоки (фиксированные функциональные или программируемые), и в некоторых примерах, один или более модулей могут представлять собой интегральные схемы.

[0164] Видеодекодер 300 может включать в себя ALU, EFU, цифровые схемы, аналоговые схемы и/или программируемые ядра, сформированные из программируемых схем. В примерах, в которых операции видеодекодера 300 выполняются посредством программного обеспечения, выполняющегося в программируемых схемах, внутримикросхемное или внемикросхемное запоминающее устройство может сохранять инструкции (например, объектный код) программного обеспечения, которые принимает и выполняет видеодекодер 300.

[0165] Модуль 302 энтропийного декодирования может принимать кодированные видеоданные из CPB и энтропийно декодировать видеоданные, чтобы воспроизводить синтаксические элементы. Модуль 304 обработки прогнозирования, модуль 306 обратного квантования, модуль 308 обработки обратного преобразования, модуль 310 восстановления и модуль 312 фильтрации могут формировать декодированные видеоданные на основе синтаксических элементов, извлеченных из потока битов.

[0166] В общем, видеодекодер 300 восстанавливает кадр на поблочной основе. Видеодекодер 300 может выполнять операцию восстановления для каждого блока отдельно (причем блок, в данный момент восстанавливаемый, т.е. декодируемый, может называться "текущим блоком").

[0167] Модуль 302 энтропийного декодирования может энтропийно декодировать синтаксические элементы, задающие квантованные коэффициенты преобразования блока квантованных коэффициентов преобразования, а также информацию преобразования, такую как параметр квантования (QP) и/или индикатор(ы) режима преобразования. Модуль 306 обратного квантования может использовать QP, ассоциированный с блоком квантованных коэффициентов преобразования, чтобы определять степень квантования и, аналогично, степень обратного квантования для модуля 306 обратного квантования, которая должна применяться. Модуль 306 обратного квантования, например, может выполнять операцию побитового сдвига влево, чтобы обратно квантовать квантованные коэффициенты преобразования. Модуль 306 обратного квантования в силу этого может формировать блок коэффициентов преобразования, включающий в себя коэффициенты преобразования.

[0168] После того, как модуль 306 обратного квантования формирует блок коэффициентов преобразования, модуль 308 обработки обратного преобразования может применять одно или более обратных преобразований к блоку коэффициентов преобразования, чтобы формировать остаточный блок, ассоциированный с текущим блоком. Например, модуль 308 обработки обратного преобразования может применять обратное DCT, обратное целочисленное преобразование, обратное преобразование Карунена-Лоэва (KLT), обратное вращательное преобразование, обратное направленное преобразование или другое обратное преобразование к блоку коэффициентов. Как пояснено в данном документе, модуль 206 обработки преобразования может избирательно применять различные преобразования к различным блокам коэффициентов (т.е. к блокам коэффициентов преобразования).

[0169] Кроме того, модуль 304 обработки прогнозирования формирует блок прогнозирования согласно синтаксическим элементам с информацией прогнозирования, которые энтропийно декодированы посредством модуля 302 энтропийного декодирования. Например, если синтаксические элементы с информацией прогнозирования указывают то, что текущий блок взаимно прогнозируется, модуль 316 компенсации движения может формировать блок прогнозирования. В этом случае, синтаксические элементы с информацией прогнозирования могут указывать опорный кадр в DPB 314, из которого можно извлекать опорный блок, а также вектор движения, идентифицирующий местоположение опорного блока в опорном кадре относительно местоположения текущего блока в текущем кадре. Модуль 316 компенсации движения, в общем, может выполнять процесс взаимного прогнозирования таким способом, который является практически аналогичным способу, описанному относительно модуля 224 компенсации движения (фиг. 3).

[0170] В качестве другого примера, если синтаксические элементы с информацией прогнозирования указывают то, что текущий блок внутренне прогнозируется, модуль 318 внутреннего прогнозирования может формировать блок прогнозирования согласно режиму внутреннего прогнозирования, указываемому посредством синтаксических элементов с информацией прогнозирования. С другой стороны, модуль 318 внутреннего прогнозирования, в общем, может выполнять процесс внутреннего прогнозирования таким способом, который является практически аналогичным способу, описанному относительно модуля 226 внутреннего прогнозирования (фиг. 3). Модуль 318 внутреннего прогнозирования может извлекать данные соседних выборок по отношению к текущему блоку из DPB 314.

[0171] Модуль 310 восстановления может восстанавливать текущий блок с использованием блока прогнозирования и остаточного блока. Например, модуль 310 восстановления может суммировать выборки остаточного блока с соответствующими выборками блока прогнозирования для того, чтобы восстанавливать текущий блок.

[0172] Модуль 312 фильтрации может выполнять одну или более операций фильтрации для восстановленных блоков. Например, модуль 312 фильтрации может выполнять операции удаления блочности, чтобы уменьшать артефакты блочности вдоль краев восстановленных блоков. Операции модуля 312 фильтрации не обязательно выполняются во всех примерах.

[0173] Видеодекодер 300 может сохранять восстановленные блоки в DPB 314. Как пояснено выше, DPB 314 может предоставлять ссылочную информацию, такую как выборки текущего кадра для внутреннего прогнозирования и ранее декодированных кадров для последующей компенсации движения, в модуль 304 обработки прогнозирования. Кроме того, видеодекодер 300 может выводить декодированные кадры из DPB для последующего представления на устройстве отображения, таком как устройство 118 отображения по фиг. 1.

[0174] Таким образом, видеодекодер 300 представляет пример устройства декодирования видео, включающего в себя запоминающее устройство, выполненное с возможностью сохранять видеоданные, и один или более модулей обработки, реализованных в схеме и выполненных с возможностью извлекать, для текущего блока коэффициентов видеоблока, тип преобразования из множества типов преобразования. Видеокодер может преобразовывать, с использованием выбранного типа преобразования, текущий блок коэффициентов, с тем чтобы получать блок восстановленных остаточных данных для видеоблока; и восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок.

[0175] Фиг. 5 является блок-схемой, иллюстрирующей систему для гибридного кодирования видео с адаптивным выбором преобразования. Видеокодер 200' по фиг. 5 может считаться иллюстрирующим систему кодирования видео, аналогичную видеокодеру 200 по фиг. 1 и 3. Например, блочное прогнозирование 202', блочное преобразование 206', квантование 208', обратное квантование 210', обратное преобразование 212', буфер 218' кинокадров и энтропийное кодирование 220' видеокодера 200' могут считаться выполняющими операции, аналогичные модулю 202 выбора режима, модулю 206 обработки преобразования, модулю 208 квантования, модулю 210 обратного квантования, модулю 212 обработки обратного преобразования, буфер декодированных кадров 218 и модуль 220 энтропийного кодирования видеокодера 200 по фиг. 3. Как показано на фиг. 5, видеокодер 200' может включать в себя гребенку 207' преобразований, которая может быть выполнена с возможностью работать совместно блочным преобразованием 206' для того, чтобы преобразовывать остаточные данные. Например, гребенка 207' преобразований и блочное преобразование 206' могут совместно выбирать и выполнять различные преобразования (например, различное DCT или DST) для каждого блока остатков прогнозирования. Как пояснено выше, в некоторых примерах, гребенка 207' преобразований и блочное преобразование 206' могут передавать в служебных сигналах выбор вспомогательной информации преобразования. Например, блочное преобразование 206' может инструктировать энтропийному кодированию 220' кодировать синтаксический элемент, явно указывающий используемое преобразование (т.е. t).

[0176] В некоторых примерах, гребенка 207' преобразований и блочное преобразование 206' могут вычислять блочные преобразования разделимым способом. Например, чтобы сокращать сложность вычислений, гребенка 207' преобразований и блочное преобразование 206' могут преобразовывать горизонтальные и вертикальные линии независимо, как показано на фиг. 6. Другими словами, выборки вдоль горизонтальных и вертикальных стрелок на фиг. 6 могут преобразовываться независимо.

[0177] В стандартах кодирования видео до HEVC, используется только фиксированное разделимое преобразование, при котором DCT-2 используется как вертикально, так и горизонтально. В HEVC, в дополнение к DCT-2, DST-7 также используется для блоков 4×4 в качестве фиксированного разделимого преобразования. US-2016-0219290-A1 и US-2018-0020218-A1 описывают адаптивные расширения этих фиксированных преобразований, и пример AMT в US-2016-0219290-A1 приспособлен в объединенной экспериментальной модели (JEM) Объединенной экспертной группы по видеостандартам (JVET), Объединенной экспертной группы по видеостандартам (JVET) ITU-T SG 16 WP 3 и ISO/IEC JTC 1/SC 29/WG 11, в программном JEM-обеспечении, https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0.

[0178] В соответствии с одной или более технологий этого раскрытия сущности, видеокодер (например, видеокодер и/или видеодекодер) может выполнять неявный выбор преобразования. Например, видеокодер может применять один или более наборов правил для того, чтобы неявно выбирать преобразование для преобразования остаточных данных для блока. Таким образом, видеокодер может повышать эффективность кодирования. В частности, технологии этого раскрытия сущности обеспечивают возможность видеодекодеру получать преимущества использования адаптивного выбора преобразования без дополнительного объема служебной информации для фактической передачи в служебных сигналах выбранного преобразования.

[0179] В VVC-проекте 4, предусмотрено два неявных извлечения преобразования, которые относительно усложняются и не предоставляют хорошую производительность кодирования. Это раскрытие сущности предлагает более простые альтернативные извлечения, которые могут предоставлять аналогичную или еще лучшую производительность/эффективность сжатия/кодирования.

[0180] Ниже поясняются связанные технологии в VVC-проекте 4 и в опорном программном обеспечении VTM-4.0.

[0181] В VVC-проекте 4/VTM-4.0, множественный выбор преобразования (MTS) использует высокоуровневый флаг для того, чтобы определять то, преобразование (i) явно передается в служебных сигналах, чтобы выбирать из нескольких возможных вариантов, или (ii) неявно извлекается на основе формы блока. Во втором случае, комбинации DST-7 и DCT-2 в качестве горизонтальных или вертикальных преобразований вплоть до размера 16. В частности, следующие зависимые от формы блока условия задают неявный MTS в VTM-4.0:

- Если ширина и высота блока равны, и обе меньше или равны 16, DST-7 используется в горизонтальном и вертикальном направлениях.

- Если ширина блока меньше его высоты, и она меньше или равна 16, DST-7 предоставляется в горизонтальном, а DCT-2 используется в вертикальном направлении.

- Если высота блока меньше его ширины, и она меньше или равна 16, DST-7 предоставляется в вертикальном, а DCT-2 используется в горизонтальном направлении.

- В противном случае, DCT-2 используется в обоих направлениях.

[0182] В VVC-проекте 4/VTM-4.0, когда внутренняя сегментация на субблоки (ISP) используется для того, чтобы кодировать блоки сигналов яркости, выполняется зависимый от режима выбор преобразования, причем горизонтальное и вертикальное преобразования (trTypeHor и trTypeVer) извлекаются на основе следующей таблицы в VVC-проекте 4.

Таблица. Спецификация trTypeHor и trTypeVer в зависимости от predModeIntra

predModeIntra trTypeHor trTypeVer INTRA_PLANAR,
INTRA_ANGULAR31,
INTRA_ANGULAR32,
INTRA_ANGULAR34,
INTRA_ANGULAR36,
INTRA_ANGULAR37 (nTbW>=4 andand
- nTbW<=16)?1:0 (nTbH>=4 andand
- nTbH<=16)?1:0 INTRA_ANGULAR33,
INTRA_ANGULAR35 0 0 INTRA_ANGULAR2,
INTRA_ANGULAR4, ..., INTRA_ANGULAR28,
INTRA_ANGULAR30,
INTRA_ANGULAR39,
INTRA_ANGULAR41, ..., INTRA_ANGULAR63,
INTRA_ANGULAR65 (nTbW>=4 andand
- nTbW<=16)?1:0 0 INTRA_ANGULAR3,
INTRA_ANGULAR5, ..., INTRA_ANGULAR27,
INTRA_ANGULAR29,
INTRA_ANGULAR38,
INTRA_ANGULAR40, ..., INTRA_ANGULAR64,
INTRA_ANGULAR66 0 (nTbH>=4 andand
- nTbH<=16)?1:0

[0183] Как пояснено выше и в соответствии с одной или более технологий этого раскрытия сущности, видеокодер может применять один или более наборов правил для того, чтобы неявно извлекать выбор преобразования на основе доступной вспомогательной информации.

[0184] В качестве первого примера, видеокодер может определять то, что модуль кодирования/модуль преобразования (CU/TU) кодируется с использованием DST-7 только при определенных условиях. Например, если максимальный разрешенный размер одномерного преобразования составляет N в кодеке, видеокодер может определять то, что DST-7 может использоваться для всех возможных размеров. Например, для данного блока NxM (как показано на фиг. 7, N строк которого имеют по M выборок, и M столбцов которого имеют N выборок), видеокодер может определять то, что N-точечное DST-7 может использоваться вертикально, и M-точечное DST-7 может использоваться горизонтально.

[0185] В качестве второго примера, для выбранного набора размеров, видеокодер может определять то, что могут использоваться различные комбинации DST-7 и DCT-2. Например, видеокодер может определять то, что DST-7 может применяться для любой строки или столбца с менее чем или равным K выборок, в то время как DCT-2 может использоваться для того, чтобы преобразовывать любую строку или столбец с числом выборок, большим K. Например, в примере по фиг. 7, если N меньше K, и M больше K, видеокодер может определять необходимость использовать N-точечное DST-7 вертикально и M-точечное DCT-2 горизонтально. Также в примере по фиг. 7, если как N, таки M меньше K, видеокодер может определять необходимость использовать DST-7 как горизонтально, так и вертикально.

[0186] В качестве третьего примера, если CU/TU сегментируется, видеодекодер может определять то, что все сегменты могут использовать идентичную схему неявного выбора преобразования. В некоторых примерах, видеокодер может использовать DST-7 для всех сегментированных субблоков (суб-TU или суб-CU). В некоторых примерах, видеокодер может использовать комбинации DST-7 и DCT-2 в зависимости от размеров блока после сегментации. В некоторых примерах, для блоков кодирования, которые используют внутреннюю сегментацию на субблоки (ISP) в VVC (VTM-4.0), видеокодер может использовать комбинации DST-7 и DCT-2 в зависимости от размеров блока, как пояснено выше во втором примере. Например, для любой строки или столбца с менее чем или равным 16 выборкам, видеокодер может DST-7. В противном случае, видеокодер может использовать DCT-2, чтобы преобразовывать любую строку или столбец с числом выборок, большим 16. В некоторых примерах, в качестве ISP может иметь строки/столбцы с двумя выборками, видеокодер может использовать 2-точечное DST-7. В предыдущих стандартах, 2-точечное DST-7 не использовано. В связи с этим, видеокодер может использовать модифицированные записи 2-точечной DST-7-матрицы следующим образом:

{48, 77}

{77, -48}

[0187] В качестве четвертого примера, видеокодер может извлекать преобразование на основе режимов внутреннего прогнозирования (режимы проиллюстрированы на фиг. 8). Для внутренних планарных и DC-режимов, видеокодер может использовать DST-7 в горизонтальном и вертикальном направлениях. Для внутреннего диагонального углового режима (с индексом 34 режима на фиг. 8), видеокодер может использовать DST-7 в горизонтальном и вертикальном направлениях. Для угловых режимов, индексированных от 2 до 66, видеокодер может применять различные комбинации DST/DCT к определенному диапазону режимов, к примеру, к предварительно заданным интервалам индексов режимов между индексами режимов [2, 3, ..., 65, 66].

1) Диапазон интервалов, состоящий из всех угловых режимов [2,3, ..., 66] может задаваться следующим образом для данного целочисленного T между 2 и 30:

a. R₁=[2, ..., (33-T)]

b. R₂=[(34-T), ..., (34+T)]

c. R₃=[(35+T), ..., 66]

2) DST-7 может применяться как горизонтально, так и вертикально для угловых режимов в диапазоне R₂.

3) DST-7 может применяться горизонтально и DCT-2 вертикально для угловых режимов в диапазоне R₁.

4) DCT-2 может применяться горизонтально и DST-7 вертикально для угловых режимов в диапазоне R₃.

[0188] В качестве пятого примера, помимо DST-7 и DCT-2, видеокодер может применять комбинации различных типов DCT/DST (например, DST-4 и DCT-8) и одномерное тождественное преобразование.

[0189] В качестве шестого примера, видеокодер может применять одну или более комбинаций вышеприведенных примеров только для внутренне прогнозированных CU/TU.

[0190] В качестве седьмого примера, видеокодер может применять одну или более комбинаций вышеприведенных примеров только для взаимно прогнозированных CU/TU.

[0191] В качестве восьмого примера, видеокодер может применять одну или более комбинаций вышеприведенных примеров, используемых для внутренне и взаимно прогнозированных CU/TU.

[0192] В качестве девятого примера, видеокодер может применять одну или более комбинаций вышеприведенных примеров, используемых для каналов сигнала яркости или сигнала цветности либо для обоих каналов сигнала яркости и сигнала цветности.

[0193] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей примерный способ для кодирования текущего блока. Текущий блок может содержать текущую CU. Хотя описывается относительно видеокодера 200 (фиг. 1 и 3), следует понимать, что другие устройства могут быть выполнены с возможностью осуществлять способ, аналогичный способу по фиг. 9. Например, видеокодер 200' по фиг. 5 может осуществлять способ, аналогичный способу по фиг. 9.

[0194] В этом примере, видеокодер 200 первоначально прогнозирует текущий блок (350). Например, видеокодер 200 может формировать блок прогнозирования для текущего блока. Видеокодер 200 затем может вычислять остаточный блок для текущего блока (352). Чтобы вычислять остаточный блок, видеокодер 200 может вычислять разность между исходным, некодированным блоком и блоком прогнозирования для текущего блока. Видеокодер 200 затем может преобразовывать и квантовать коэффициенты остаточного блока (354). Как пояснено выше, видеокодер 200 может неявно извлекать тип преобразования, который следует использовать при преобразовании коэффициентов остаточного блока. Например, видеокодер 200 может извлекать тип преобразования с использованием технологии, поясненной ниже со ссылкой на фиг. 11.

[0195] Затем, видеокодер 200 может сканировать квантованные коэффициенты преобразования остаточного блока (356). В ходе сканирования или после сканирования, видеокодер 200 может энтропийно кодировать коэффициенты (358). Например, видеокодер 200 может кодировать коэффициенты с использованием CAVLC или CABAC. Видеокодер 200 затем может выводить энтропийно кодированные данные блока (360).

[0196] Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей примерный способ для декодирования текущего блока видеоданных. Текущий блок может содержать текущую CU. Хотя описывается относительно видеодекодера 300 (фиг. 1 и 4), следует понимать, что другие устройства могут быть выполнены с возможностью выполнять способ, аналогичный способу по фиг. 10.

[0197] Видеодекодер 300 может принимать энтропийно кодированные данные для текущего блока, к примеру, энтропийно кодированную информацию прогнозирования и энтропийно кодированные данные для коэффициентов остаточного блока, соответствующего текущему блоку (370). Видеодекодер 300 может энтропийно декодировать энтропийно кодированные данные для того, чтобы определять информацию прогнозирования для текущего блока и воспроизводить коэффициенты остаточного блока (372). Видеодекодер 300 может прогнозировать текущий блок (374), например, с использованием режима внутреннего или взаимного прогнозирования, как указано посредством информации прогнозирования для текущего блока для того, чтобы вычислять блок прогнозирования для текущего блока. Видеодекодер 300 затем может обратно сканировать воспроизведенные коэффициенты (376), чтобы создавать блок квантованных коэффициентов преобразования. Видеодекодер 300 затем может обратно квантовать и обратно преобразовывать коэффициенты для того, чтобы формировать остаточный блок (378). Как пояснено выше, видеодекодер 300 может неявно извлекать тип преобразования, который следует использовать при преобразовании коэффициентов остаточного блока. Например, видеодекодер 300 может извлекать тип преобразования с использованием технологии, поясненной ниже со ссылкой на фиг. 11. Видеодекодер 300 может в конечном счете декодировать текущий блок посредством комбинирования блока прогнозирования и остаточного блока (380).

[0198] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей примерный способ для логического вывода типа преобразования для блока преобразования видеоблока, в соответствии с одной или более технологий этого раскрытия сущности. Технологии по фиг. 11 могут выполняться посредством видеокодера (например, видеокодера 200 и/или видеодекодера 300).

[0199] Видеокодер может получать текущий блок преобразования текущего видеоблока (1102). Блок преобразования может представлять собой матрицу коэффициентов преобразования, которая сконструирована на основе одного или более синтаксических элементов, декодированных из потока видеобитов (например, синтаксических элементов, включенных в синтаксическую таблицу остаточного кодирования VVC-проекта 4. Текущий видеоблок может представлять собой единицу кодирования (CU).

[0200] Видеокодер может логически выводить тип преобразования из множества типов преобразования для текущего блока преобразования. Множество типов преобразования могут включать в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST).

[0201] Как пояснено выше, видеокодер может логически выводить тип преобразования на основе одного или более факторов, таких как то, сегментируется или нет текущий видеоблок с использованием ISP, и/или размер блока преобразования. Как показано на фиг. 11, видеокодер может определять то, что текущий видеоблок сегментируется с использованием ISP (1104). Видеокодер может определять то, что текущий видеоблок сегментируется с использованием ISP, на основе значений одного или более синтаксических элементов (например, sps_isp_enabled_flag, intra_subpartitions_mode_flag и/или intra_subpartitions_split_flag). Например, на основе синтаксического элемента intra_subpartitions_split_flag, видеокодер может определять то, текущий видеоблок не сегментируется (например, не разбивается), сегментируется горизонтально или сегментируется вертикально.

[0202] В ответ на определение того, что текущий видеоблок сегментируется с использованием ISP (1104), видеокодер может определять размер текущего блока преобразования (1106). Например, видеокодер может определять ширину и/или высоту блока преобразования. В некоторых примерах, видеокодер может отдельно определять размер блока преобразования для каждого субсегмента. В других примерах, видеокодер может определять размер блока преобразования для одного сегмента и использовать определенный размер для каждого сегмента модуля кодирования.

[0203] Видеокодер может определять то, удовлетворяет или нет размер текущего блока преобразования пороговому значению размера. Например, как показано на фиг. 11, видеокодер может определять то, больше размер текущего блока преобразования нижней границы и меньше верхней границы или нет (т.е. представляют или нет оба из (размер > нижняя граница) и (размер < верхняя граница) собой "истина") (1108). Как пояснено выше, в некоторых примерах, нижняя граница может быть равной 4 выборкам, и верхняя граница может быть равной 16 выборок).

[0204] В ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, видеокодер может выбирать конкретное DST из одного или более DST в качестве выбранного типа преобразования. Например, как показано на фиг. 11, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, видеокодер может выбирать DST-7 в качестве логически выведенного типа преобразования для текущего блока преобразования (ветвь "Да" по 1108, 1110). Альтернативно, в ответ на определение того, что размер текущего блока преобразования не удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, видеокодер может выбирать DCT-2 в качестве логически выведенного типа преобразования для текущего блока преобразования (ветвь "Нет" по 1108, 1112).

[0205] Видеокодер может преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока (1114). Например, если выбранный тип преобразования представляет собой DST-7, видеокодер (например, модуль 212/212' обработки обратного преобразования видеокодера 200/200' и/или модуль 308 обработки обратного преобразования видеодекодера 300) может преобразовывать коэффициенты блока преобразования в восстановленные остаточные данные посредством применения обратного DST-7-преобразования.

[0206] Видеокодер может восстанавливать, на основе восстановленных остаточных данных для видеоблока, видеоблок (1116). Например, видеокодер может суммировать остаточные данные с блоком внутренне прогнозированных выборок для текущего блока. Если видеоблок сегментируется с использованием ISP, видеокодер может суммировать соответствующий блок восстановленных остаточных данных с соответствующим блоком внутренне прогнозированных выборок для каждого соответствующего субсегмента текущего видеоблока.

[0207] Следующие пронумерованные примеры могут иллюстрировать один или более аспектов раскрытия сущности.

[0208] Пример 1. Способ кодирования видеоданных, при этом способ содержит: извлечение, для текущего блока коэффициентов видеоблока, типа преобразования из множества типов преобразования; преобразование, с использованием выбранного типа преобразования, текущего блока коэффициентов, с тем чтобы получать блок восстановленных остаточных данных для видеоблока; и восстановление, на основе восстановленных остаточных данных для видеоблока, видеоблока.

[0209] Пример 2. Способ по примеру 1, в котором множество типов преобразования включают в себя одно или более дискретных косинусных преобразований (DCT) и/или одно или более дискретных синусных преобразований (DST).

[0210] Пример 3. Способ по примеру 2, в котором одно или более DCT включают в себя одно или более из DCT-1, DCT-2, DCT-3, DCT-4, DCT-5, DCT-6, DCT-7 и DCT-8.

[0211] Пример 4. Способ по любому из примеров 2 и 3, в котором одно или более DST включают в себя одно или более из DST-1, DST-2, DST-3, DST-4, DST-5, DST-6, DST-7 и DST-8.

[0212] Пример 5. Способ по любому из примеров 1-4, в котором извлечение типа преобразования содержит извлечение типа преобразования на основе размера текущего блока коэффициентов.

[0213] Пример 6. Способ по примеру 5, в котором извлечение типа преобразования на основе размера текущего блока коэффициентов содержит выбор типа DST-7-преобразования, при этом максимальный разрешенный размер одномерного преобразования составляет N.

[0214] Пример 7. Способ по примеру 6, в котором текущий блок коэффициентов имеет размеры в NxM, и при этом выбор типа DST-7-преобразования содержит выбор N-точечного DST-7-преобразования для вертикального варианта использования и выбор M-точечного DST-7-преобразования для горизонтального варианта использования.

[0215] Пример 8. Способ по любой комбинации примеров 1-7, в котором извлечение типа преобразования содержит выбор различных комбинаций DST-7-преобразования и DCT-2-преобразования.

[0216] Пример 9. Способ по примеру 8, в котором выбор различных комбинаций DST-7-преобразования и DCT-2-преобразования содержит: выбор DST-7-преобразования для любой строки или столбца с менее чем или равным K выборок; и выбор DCT-2-преобразования для любой строки или столбца с более чем K выборок.

[0217] Пример 10. Способ по любой комбинации примеров 1-9, дополнительно содержащий: в ответ на определение того, что видеоблок сегментируется на множество сегментов, выбор соответствующих типов преобразования для блоков коэффициентов каждого из множества сегментов с использованием общего набора правил.

[0218] Пример 11. Способ по примеру 10, в котором выбор соответствующих типов преобразования для каждого из множества сегментов содержит выбор DST-7 для блоков коэффициентов всего множества сегментов.

[0219] Пример 12. Способ по примеру 10, в котором выбор соответствующих типов преобразования для каждого из множества сегментов содержит выбор различных комбинаций DST-7-преобразования и DCT-2-преобразования на основе размеров сегментов.

[0220] Пример 13. Способ по примеру 12, в котором выбор различных комбинаций DST-7-преобразования и DCT-2-преобразования на основе размеров сегментов содержит: выбор DST-7-преобразования для любой строки или столбца с менее чем или равным пороговому числу выборок; и выбор DCT-2-преобразования для любой строки или столбца с более чем пороговым числом выборок.

[0221] Пример 14. Способ по примеру 13, в котором пороговое значение равно 16.

[0222] Пример 15. Способ по любой комбинации примеров 10-14, в котором сегментация видеоблока на множество сегментов содержит сегментацию видеоблока с использованием внутренней сегментации на субблоки (ISP).

[0223] Пример 16. Способ по примеру 15, в котором преобразование с использованием DST-7-преобразования содержит преобразование текущего блока коэффициентов с использованием следующей 2-точечной DST-7-матрицы:

{48, 77}

{77, -48}.

[0224] Пример 17. Способ по любой комбинации примеров 1-16, дополнительно содержащий: определение режима внутреннего прогнозирования, используемого для того, чтобы прогнозировать видеоблок, при этом извлечение типа преобразования для текущего блока коэффициентов видеоблока содержит извлечение типа преобразования для текущего блока коэффициентов видеоблока на основе режима внутреннего прогнозирования.

[0225] Пример 18. Способ по примеру 17, в котором извлечение типа преобразования для текущего блока коэффициентов видеоблока на основе режима внутреннего прогнозирования содержит: в ответ на определение того, что режим внутреннего прогнозирования представляет собой планарный или DC-режим, выбор DST-7-преобразования для текущего блока коэффициентов в горизонтальном и вертикальном направлениях.

[0226] Пример 19. Способ по любому из примеров 17 или 18, в котором извлечение типа преобразования для текущего блока коэффициентов видеоблока на основе режима внутреннего прогнозирования содержит: в ответ на определение того, что режим внутреннего прогнозирования представляет собой диагональный угловой режим, выбор DST-7-преобразования для текущего блока коэффициентов в горизонтальном и вертикальном направлениях.

[0227] Пример 20. Способ по примеру 19, в котором диагональный угловой режим имеет индекс 34 режима.

[0228] Пример 21. Способ по любому из примеров 17-20, в котором извлечение типа преобразования для текущего блока коэффициентов видеоблока на основе режима внутреннего прогнозирования содержит: в ответ на определение того, что режим внутреннего прогнозирования представляет собой угловой режим, выбор типа преобразования для текущего блока коэффициентов на основе индекса режима для режима внутреннего прогнозирования.

[0229] Пример 22. Способ по примеру 21, в котором выбор типа преобразования для текущего блока коэффициентов на основе индекса режима для режима внутреннего прогнозирования содержит: идентификацию диапазона из множества диапазонов, который включает в себя индекс режима для режима внутреннего прогнозирования; и выбор типа преобразования для текущего блока коэффициентов на основе идентифицированного диапазона.

[0230] Пример 23. Способ по примеру 22, в котором идентификация диапазона содержит: идентификацию первого диапазона в ответ на определение того, что индекс режима находится между первым пороговым значением и вторым пороговым значением; идентификацию второго диапазона в ответ на определение того, что индекс режима находится между вторым пороговым значением и третьим пороговым значением; и идентификацию третьего диапазона в ответ на определение того, что индекс режима находится между третьим пороговым значением и четвертым пороговым значением.

[0231] Пример 24. Способ по примеру 23, в котором: идентификация первого диапазона в ответ на определение того, что индекс режима находится между первым пороговым значением и вторым пороговым значением, содержит идентификацию первого диапазона в ответ на определение того, что индекс режима находится в пределах [2, ..., (33-T)]; идентификация второго диапазона в ответ на определение того, что индекс режима находится между вторым пороговым значением и третьим пороговым значением, содержит идентификацию второго диапазона в ответ на определение того, что индекс режима находится в пределах [(34-T), ..., (34+T)]; идентификация третьего диапазона в ответ на определение того, что индекс режима находится между третьим пороговым значением и четвертым пороговым значением, содержит идентификацию третьего диапазона в ответ на определение того, что индекс режима находится в пределах [(35+T), ..., 66]; и T является целым числом между 2 и 30.

[0232] Пример 25. Способ по примеру 23 или примера 24, в котором выбор типа преобразования для текущего блока коэффициентов на основе идентифицированного диапазона содержит: выбор DST-7 для горизонтального варианта использования и DCT-2 для вертикального варианта использования в ответ на идентификацию первого диапазона; выбор DST-7 для горизонтального и вертикального варианта использования в ответ на идентификацию второго диапазона; и выбор DCT-2 для горизонтального варианта использования и DST-7 для вертикального варианта использования в ответ на идентификацию третьего диапазона.

[0233] Пример 26. Способ по любому из примеров 1-25, в котором кодирование содержит декодирование.

[0234] Пример 27. Способ по любому из примеров 1-26, в котором кодирование содержит кодирование.

[0235] Пример 28. Устройство для кодирования видеоданных, причем устройство содержит один или более примеров средств для осуществления способа по любому из примеров 1-27.

[0236] Пример 29. Устройство по примеру 28, в котором одно или более средств содержат один или более процессоров, реализованных в схеме.

[0237] Пример 30. Устройство по любому из примеров 28 и 29, дополнительно содержащее запоминающее устройство, чтобы сохранять видеоданные.

[0238] Пример 31. Устройство по любому из примеров 28-30, дополнительно содержащее дисплей, выполненный с возможностью отображать декодированные видеоданные.

[0239] Пример 32. Устройство по примеру 28, при этом устройство содержит одно или более из камеры, компьютера, мобильного устройства, широковещательного приемного устройства или абонентской приставки.

[0240] Пример 33. Устройство по любому из примеров 28-32, при этом устройство содержит видеодекодер.

[0241] Пример 34. Устройство по любому из примеров 28-33, при этом устройство содержит видеокодер.

[0242] Пример 35. Машиночитаемый носитель хранения данных, имеющий сохраненные инструкции, которые при выполнении инструктируют одному или более процессоров осуществлять способ по любому из примеров 1-25.

[0243] Следует признавать то, что в зависимости от примера, определенные этапы или события любой из технологий, описанных в данном документе, могут выполняться в другой последовательности, могут добавляться, объединяться или вообще исключаться (например, не все описанные этапы или события требуются для практической реализации технологий). Кроме того, в определенных примерах, этапы или события могут выполняться одновременно, например, посредством многопоточной обработки, обработки прерывания или посредством нескольких процессоров, а не последовательно.

[0244] В одном или более примеров, описанные функции могут реализовываться в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или в любой комбинации вышеозначенного. При реализации в программном обеспечении, функции могут сохраняться или передаваться, в качестве одной или более инструкций или кода, по машиночитаемому носителю и выполняться посредством аппаратного модуля обработки. Машиночитаемые носители могут включать в себя машиночитаемые носители хранения данных, которые соответствуют материальному носителю, такие как носители хранения данных, или среды связи, включающие в себя любую среду, которая упрощает перенос компьютерной программы из одного места в другое, например, согласно протоколу связи. Таким образом, машиночитаемые носители, в общем, могут соответствовать (1) материальному машиночитаемому носителю хранения данных, который является энергонезависимым, или (2) среде связи, такой как сигнал или несущая. Носители хранения данных могут представлять собой любые доступные носители, к которым может осуществляться доступ посредством одного или более компьютеров или одного или более процессоров, с тем чтобы извлекать инструкции, код и/или структуры данных для реализации технологий, описанных в этом раскрытии сущности. Компьютерный программный продукт может включать в себя машиночитаемый носитель.

[0245] В качестве примера, а не ограничения, эти машиночитаемые носители хранения данных могут содержать RAM, ROM, EEPROM, CD-ROM или другое устройство хранения данных на оптических дисках, устройство хранения данных на магнитных дисках или другие магнитные устройства хранения, флэш-память либо любой другой носитель, который может использоваться для того, чтобы сохранять требуемый программный код в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера. Кроме того, любое соединение корректно называть машиночитаемым носителем. Например, если инструкции передаются из веб-узла, сервера или другого удаленного источника с помощью коаксиального кабеля, оптоволоконного кабеля, "витой пары", цифровой абонентской линии (DSL) или беспроводных технологий, таких как инфракрасные, радиопередающие и микроволновые среды, то коаксиальный кабель, оптоволоконный кабель, "витая пара", DSL или беспроводные технологии, такие как инфракрасные, радиопередающие и микроволновые среды, включаются в определение носителя. Тем не менее, следует понимать, что машиночитаемые носители хранения данных и носители хранения данных не включают в себя соединения, несущие, сигналы или другие энергозависимые носители, а вместо этого направлены на энергонезависимые материальные носители хранения данных. Диск (disk) и диск (disc) при использовании в данном документе включают в себя компакт-диск (CD), лазерный диск, оптический диск, универсальный цифровой диск (DVD), гибкий диск и диск Blu-Ray, при этом диски (disk) обычно воспроизводят данные магнитно, тогда как диски (disc) обычно воспроизводят данные оптически с помощью лазеров. Комбинации вышеперечисленного также следует включать в число машиночитаемых носителей.

[0246] Инструкции могут выполняться посредством одного или более процессоров, например, одного или более процессоров цифровых сигналов (DSP), микропроцессоров общего назначения, специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA) либо других эквивалентных интегральных или дискретных логических схем. Соответственно, термины "процессор" и "схема обработки", при использовании в данном документе могут означать любую из вышеприведенных структур или любую другую структуру, подходящую для реализации технологий, описанных в данном документе. Помимо этого, в некоторых аспектах функциональность, описанная в данном документе, может предоставляться в рамках специализированных аппаратных и/или программных модулей, выполненных с возможностью кодирования или декодирования либо встроенных в комбинированный кодек. Кроме того, технологии могут полностью реализовываться в одной или более схем или логических элементов.

[0247] Технологии этого раскрытия сущности могут реализовываться в широком спектре устройств или оборудования, в том числе в беспроводном переносном телефоне, в интегральной схеме (IC), или в наборе IC (к примеру, в наборе микросхем). Различные компоненты, модули или блоки описываются в этом раскрытии сущности для того, чтобы подчеркивать функциональные аспекты устройств, выполненных с возможностью осуществлять раскрытые технологии, но необязательно требуют реализации посредством различных аппаратных модулей. Наоборот, как описано выше, различные модули могут комбинироваться в аппаратный модуль кодека или предоставляться посредством набора взаимодействующих аппаратных модулей, включающих в себя один или более процессоров, как описано выше, в сочетании с надлежащим программным обеспечением и/или микропрограммным обеспечением.

[0248] Выше описаны различные примеры. Эти и другие примеры находятся в пределах объема прилагаемой формулы изобретения.

Изобретение относится к кодированию видео. Технический результат – возможность неявного выбора преобразования при кодировании видео. Для этого способ включает в себя логический вывод типа преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST), при этом логический вывод содержит: определение размера текущего блока преобразования; определение того, сегментируется или нет текущий видеоблок с использованием внутренней сегментации на субблоки (ISP); и в ответ на определение того, что размер текущего блока преобразования меньше порогового значения, и того, что текущий видеоблок сегментируется с использованием ISP, выбор конкретного DST из одного или более DST в качестве выбранного типа преобразования; преобразование, с использованием выбранного типа преобразования, текущего блока преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и восстановление видеоблока, на основе восстановленных остаточных данных для видеоблока. 3 н. и 4 з.п. ф-лы, 13 ил., 1 табл.

1. Способ декодирования видеоданных, при этом способ содержит этапы, на которых:

логически выводят, для текущего блока преобразования текущего видеоблока, тип преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST), при этом логический вывод типа преобразования содержит этапы, на которых:

определяют, является ли размер текущего блока удовлетворяющим пороговому значению размера, при этом размер текущего блока удовлетворяет пороговому значению размера, где размер текущего блока больше или равен 4 и меньше или равен 16;

определяют то, сегментируется или нет текущий видеоблок с использованием внутренней сегментации на субблоки (ISP); и

в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что выбирают конкретное DST из одного или более DST в качестве выбранного типа преобразования, при этом выбор конкретного DST содержит выбор конкретного DST независимо от режима внутреннего прогнозирования, выбранного для того, чтобы прогнозировать текущий видеоблок, причем конкретным DST является DST-7; и

в ответ на определение того, что размер текущего блока не является удовлетворяющим пороговому значению размера, и что текущий видеоблок сегментируется с использованием ISP, выбирают конкретное DST из одного или более DST в качестве выбранного типа преобразования, причем конкретным DST является DST-2;

преобразуют, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и

восстанавливают видеоблок, на основе восстановленных остаточных данных для видеоблока,

при этом логический вывод типа преобразования для текущего блока преобразования содержит этап, на котором логически выводят тип преобразования для текущего блока преобразования в ответ на определение того, что множественный выбор преобразования (MTS) активируется для текущего видеоблока,

при этом определение того, сегментируется ли текущий видеоблок или нет с использованием ISP, содержит определение на основе значений одного или более синтаксических элементов, декодированных из потока видеобитов, того, сегментируется или нет текущий видеоблок с использованием ISP,

при этом размер текущего блока преобразования содержит:

ширину текущего блока преобразования, и

высоту текущего блока преобразования,

при этом выбор типа преобразования содержит этап, на котором выбирают тип преобразования для горизонтального варианта использования и выбирают тип преобразования для вертикального варианта использования, при этом способ также содержит этапы, на которых:

выбирают DST-7 в качестве выбранного типа преобразования для горизонтального варианта использования в ответ на определение того, что ширина текущего блока преобразования удовлетворяет пороговому значению размера по ширине, и того, что текущий видеоблок сегментируется с использованием ISP; и

выбирают DST-7 в качестве выбранного типа преобразования для вертикального варианта использования в ответ на определение того, что высота текущего блока преобразования удовлетворяет пороговому значению размера по высоте, и того, что текущий видеоблок сегментируется с использованием ISP, и

при этом пороговое значение ширины равно пороговому значению высоты.

2. Способ по п. 1, в котором одно или более DCT включают в себя одно или более из DCT-1, DCT-2, DCT-3, DCT-4, DCT-5, DCT-6, DCT-7 и DCT-8.

3. Способ по п. 2, в котором одно или более DST включают в себя одно или более из DST-1, DST-2, DST-3, DST-4, DST-5, DST-6, DST-7 и DST-8.

4. Устройство для кодирования видеоданных, при этом устройство содержит:

запоминающее устройство, выполненное с возможностью сохранять видеоблоки; и

один или более процессоров, реализованных в схеме и выполненных с возможностью:

логически выводить, для текущего блока преобразования текущего видеоблока, тип преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST), при этом для того, чтобы логически выводить тип преобразования, один или более процессоров выполнены с возможностью:

определять, является ли размер текущего блока удовлетворяющим пороговому значению размера, при этом размер текущего блока удовлетворяет пороговому значению размера, где размер текущего блока больше или равен 4 и меньше или равен 16;

определять то, сегментируется или нет текущий видеоблок с использованием внутренней сегментации на субблоки (ISP);

выбирать, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования, при этом выбор конкретного DST содержит выбор конкретного DST независимо от режима внутреннего прогнозирования, выбранного для того, чтобы прогнозировать текущий видеоблок, причем конкретным DST является DST-7; и

выбирают, в ответ на определение того, что размер текущего блока не является удовлетворяющим пороговому значению размера, и что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования, причем конкретным DST является DST-2;

преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и

восстанавливать видеоблок, на основе восстановленных остаточных данных для видеоблока,

при этом для логического вывода типа преобразования для текущего блока преобразования один или более процессоры выполнены с возможностью логически выводить тип преобразования для текущего блока преобразования в ответ на определение того, что множественный выбор преобразования (MTS) активируется для текущего видеоблока,

при этом для определения того, сегментируется ли текущий видеоблок или нет с использованием ISP, один или более процессоры выполнены с возможностью определять на основе значений одного или более синтаксических элементов, декодированных из потока видеобитов, того, сегментируется или нет текущий видеоблок с использованием ISP,

при этом размер текущего блока преобразования содержит:

ширину текущего блока преобразования, и

высоту текущего блока преобразования,

при этом для выбора типа преобразования один или более процессоры выполнены с возможностью выбирать тип преобразования для горизонтального варианта использования и выбирать тип преобразования для вертикального варианта использования, при этом один или более процессоры выполнены с возможностью:

выбирать DST-7 в качестве выбранного типа преобразования для горизонтального варианта использования в ответ на определение того, что ширина текущего блока преобразования удовлетворяет пороговому значению размера по ширине, и того, что текущий видеоблок сегментируется с использованием ISP; и

выбирать DST-7 в качестве выбранного типа преобразования для вертикального варианта использования в ответ на определение того, что высота текущего блока преобразования удовлетворяет пороговому значению размера по высоте, и того, что текущий видеоблок сегментируется с использованием ISP, и

при этом пороговое значение ширины равно пороговому значению высоты.

5. Устройство по п. 4, в котором одно или более DCT включают в себя одно или более из DCT-1, DCT-2, DCT-3, DCT-4, DCT-5, DCT-6, DCT-7 и DCT-8.

6. Устройство по п. 5, в котором одно или более DST включают в себя одно или более из DST-1, DST-2, DST-3, DST-4, DST-5, DST-6, DST-7 и DST-8.

7. Машиночитаемый носитель хранения данных, сохраняющий инструкции, которые при выполнении инструктируют одному или более процессорам устройства кодирования видео:

логически выводить, для текущего блока преобразования текущего видеоблока, тип преобразования из множества типов преобразования, который включает в себя одно или более дискретных косинусных преобразований (DCT) и одно или более дискретных синусных преобразований (DST), при этом инструкции, которые инструктируют одному или более процессоров логически выводить тип преобразования, содержат инструкции, которые инструктируют одному или более процессоров:

определять, является ли размер текущего блока удовлетворяющим пороговому значению размера, при этом размер текущего блока удовлетворяет пороговому значению размера, где размер текущего блока больше или равен 4 и меньше или равен 16;

определять то, сегментируется или нет текущий видеоблок с использованием внутренней сегментации на субблоки (ISP); и

выбирать, в ответ на определение того, что размер текущего блока преобразования удовлетворяет пороговому значению размера, и того, что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования, при этом инструкции инструктируют одному или более процессорам выбирать конкретный DST независимо от режима внутреннего прогнозирования, выбранного для того, чтобы прогнозировать текущий видеоблок, причем конкретным DST является DST-7; и

выбирать, в ответ на определение того, что размер текущего блока не является удовлетворяющим пороговому значению размера, и что текущий видеоблок сегментируется с использованием ISP, конкретное DST из одного или более DST в качестве выбранного типа преобразования, причем конкретным DST является DST-2;

преобразовывать, с использованием выбранного типа преобразования, текущий блок преобразования для того, чтобы получать блок восстановленных остаточных данных для видеоблока; и

восстанавливать видеоблок, на основе восстановленных остаточных данных для видеоблока,

при этом инструкции, которые инструктируют одному или более процессорам логически выводить тип преобразования для текущего блока преобразования, содержат инструкции, которые инструктируют одному или более процессорам логически выводить тип преобразования для текущего блока преобразования в ответ на определение того, что множественный выбор преобразования (MTS) активируется для текущего видеоблока,

при этом инструкции, которые инструктируют одному или более процессорам определять то, сегментируется ли текущий видеоблок или нет с использованием ISP, содержат инструкции, которые инструктируют одному или более процессорам определять на основе значений одного или более синтаксических элементов, декодированных из потока видеобитов, то, сегментируется или нет текущий видеоблок с использованием ISP,

при этом размер текущего блока преобразования содержит:

ширину текущего блока преобразования, и

высоту текущего блока преобразования,

при этом инструкции, которые инструктируют одному или более процессорам выбирать тип преобразования, содержат инструкции, которые инструктируют одному или более процессорам выбирать тип преобразования для горизонтального варианта использования и выбирать тип преобразования для вертикального варианта использования, при этом инструкции также содержат инструкции, которые инструктируют одному или более процессорам:

выбирать DST-7 в качестве выбранного типа преобразования для горизонтального варианта использования в ответ на определение того, что ширина текущего блока преобразования удовлетворяет пороговому значению размера по ширине, и того, что текущий видеоблок сегментируется с использованием ISP; и

выбирать DST-7 в качестве выбранного типа преобразования для вертикального варианта использования в ответ на определение того, что высота текущего блока преобразования удовлетворяет пороговому значению размера по высоте, и того, что текущий видеоблок сегментируется с использованием ISP, и

при этом пороговое значение ширины равно пороговому значению высоты.