[001] Данная заявка заявляет приоритет по предварительной заявке на патент США № 62/881541, поданной 1 августа 2019 г., предварительной заявке на патент США № 62/927894, поданной 30 октября 2019 г., предварительной заявке на патент США № 63/037721, поданной 11 июня 2020 г., и предварительной заявке на патент США № 63/057666, поданной 28 июля 2020 г., каждая из которых полностью включена в данный документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[002] Развитие стандарта кодера/декодера («кодека») для голоса и видео в последнее время сконцентрировано на разработке кодека для голосовых и звуковых служб с эффектом присутствия (IVAS). Ожидается, что IVAS будут поддерживать ряд функциональных возможностей звуковых служб, включая, но без ограничения, повышающее микширование монофонического сигнала в стереофонический сигнал и кодирование, декодирование и рендеринг звука с полным эффектом присутствия. Предполагается, что IVAS будут поддерживаться широким диапазоном устройств, оконечных устройств и узлов сети, включая, но без ограничения, мобильные телефоны и смартфоны, электронные планшеты, персональные компьютеры, конференц-телефоны, помещения для переговоров, устройства виртуальной реальности (VR) и дополненной реальности (AR), устройства домашнего кинотеатра и другие подходящие устройства. Эти устройства, оконечные устройства и узлы сети могут содержать различные акустические интерфейсы для записи и рендеринга звука.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[003] Раскрыты реализации для кодирования и декодирования битовых потоков IVAS.

[004] В некоторых реализациях способ генерирования битового потока для звукового сигнала включает: определение с использованием кодера голосовых и звуковых служб с эффектом присутствия (IVAS) указателя режима кодирования или указателя инструмента кодирования, при этом указатель режима кодирования или указатель инструмента кодирования указывает режим кодирования или инструмент кодирования для звукового сигнала; кодирование с использованием кодера IVAS указателя режима кодирования или указателя инструмента кодирования в разделе общего заголовка (CH) битового потока IVAS; определение с использованием кодера IVAS заголовка режима или заголовка инструмента; кодирование с использованием кодера IVAS заголовка режима или инструмента в разделе заголовка инструмента (TH) битового потока IVAS, при этом раздел ТН следует за разделом СН; определение с использованием кодера IVAS полезной нагрузки метаданных, содержащей пространственные метаданные; кодирование с использованием кодера IVAS полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом CH; определение с использованием кодера IVAS полезной нагрузки голосовых служб с расширенными возможностями (EVS), при этом полезная нагрузка EVS содержит закодированные биты EVS для каждого канала или канала понижающего микширования звукового сигнала; и кодирование с использованием кодера IVAS полезной нагрузки EVS в разделе полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СН.

[005] В некоторых реализациях битовый поток IVAS сохраняют на постоянном машиночитаемом носителе. В других реализациях битовый поток IVAS передают потоком в находящееся далее по ходу потока устройство, при этом указатель режима кодирования или инструмента кодирования, заголовок режима или заголовок инструмента, полезную нагрузку метаданных и полезную нагрузку EVS извлекают и декодируют из разделов CH, TH, MDP и EP битового потока IVAS, соответственно, для применения при реконструкции звукового сигнала на находящемся далее по ходу потока устройстве или другом устройстве.

[006] В некоторых реализациях способ декодирования битового потока для звукового сигнала включает: извлечение и декодирование, с использованием декодера голосовых и звуковых служб с эффектом присутствия (IVAS), указателя режима кодирования или указателя инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS, при этом указатель режима кодирования или указатель инструмента кодирования указывает режим кодирования или инструмент кодирования для звукового сигнала; извлечение и декодирование, с использованием декодера IVAS, заголовка режима или заголовка инструмента в разделе заголовка инструмента (ТН) битового потока IVAS, при этом раздел ТН следует за разделом СН; извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки метаданных из раздела полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом СН и полезная нагрузка метаданных содержит пространственные метаданные; и извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) из раздела полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СН, а полезная нагрузка EVS содержит закодированные биты EVS для каждого канала или канала понижающего микширования звукового сигнала.

[007] В некоторых реализациях аудиодекодером находящегося далее по ходу потока устройства управляют на основе указателя режима кодирования или указателя инструмента кодирования, заголовка режима или заголовка инструмента, полезной нагрузки EVS и полезной нагрузки метаданных для применения при реконструкции звукового сигнала на находящемся далее по ходу потока устройстве или другом устройстве. В других реализациях на постоянном машиночитаемом носителе сохраняют представление указателя режима кодирования или указателя инструмента кодирования, заголовка режима или заголовка инструмента, полезной нагрузки EVS и полезной нагрузки метаданных.

[008] В некоторых реализациях битрейт для каждого закодированного канала EVS или канала понижающего микширования EVS определяют с использованием общего количества доступных битов для EVS, таблицы управления распределением битрейта SPAR и алгоритма распределения битрейта.

[009] В некоторых реализациях СН представляет собой многобитовую структуру данных, в которой одно значение многобитовой структуры данных соответствует режиму кодирования пространственной реконструкции (SPAR), а другие значения структуры данных соответствуют другим режимам кодирования.

[0010] В некоторых реализациях предыдущие способы дополнительно включают соответственно сохранение в разделе ТН или считывание из этого раздела битового потока IVAS смещения индекса для вычисления индекса строки таблицы управления распределением битрейта пространственной реконструкции (SPAR).

[0011] В некоторых реализациях предыдущие способы дополнительно включают: соответственно сохранение в раздел MDP или считывание из этого раздела битового потока IVAS; указателя стратегии квантования; указателя стратегии кодирования битового потока; и квантованных и закодированных вещественных и мнимых частей набора коэффициентов.

[0012] В некоторых реализациях набор коэффициентов содержит коэффициенты предсказания, прямые коэффициенты, диагональные вещественные коэффициенты и комплексные коэффициенты нижнего треугольника.

[0013] В некоторых реализациях коэффициенты предсказания характеризуются переменной битовой длиной на основе энтропийного кодирования, а прямые коэффициенты, диагональные вещественные коэффициенты и комплексные коэффициенты нижнего треугольника характеризуются переменной битовой длиной на основе конфигурации понижающего микширования и энтропийного кодирования.

[0014] В некоторых реализациях указатель стратегии квантования представляет собой многобитовую структуру данных, которая указывает стратегию квантования.

[0015] В некоторых реализациях указатель стратегии кодирования битового потока представляет собой многобитовую структуру данных, которая указывает количество полос пространственных метаданных и схему недифференциального или временного дифференциального энтропийного кодирования.

[0016] В некоторых реализациях квантование коэффициентов осуществляют в соответствии со стратегией управления распределением битрейта EVS, которая включает квантование метаданных и распределение битрейта EVS.

[0017] В некоторых реализациях предыдущие способы дополнительно включают соответственно сохранение в разделе ЕР или считывание из этого раздела битового потока IVAS полезной нагрузки EVS для экземпляров EVS согласно технической спецификации (TS) 26.445 Проекта партнерства 3-гопоколения (3GPP).

[0018] В некоторых реализациях предыдущие способы дополнительно включают: определение битрейта из битового потока IVAS; считывание смещения индекса из раздела заголовка инструмента (ТН) пространственной реконструкции (SPAR) битового потока IVAS; определение индекса строки таблицы для таблицы управления распределением битрейта SPAR с использованием смещения индекса; считывание битов стратегии квантования и битов стратегии кодирования из раздела полезной нагрузки метаданных (MDP) в битовом потоке IVAS; расквантование пространственных метаданных SPAR в разделе MDP битового потока IVAS на основе битов стратегии квантования и битов стратегии кодирования; определение битрейта голосовых служб с расширенными возможностями (EVS) для каждого канала в битовом потоке IVAS с использованием общего количества доступных битов EVS и таблицы управления распределением битрейта SPAR; считывание закодированных битов EVS из раздела ЕР битового потока IVAS на основе битрейта EVS; декодирование битов EVS; и декодирование пространственных метаданных; и генерирование выходных данных амбиофонии первого порядка (FoA) с использованием декодированных битов EVS и декодированных пространственных метаданных.

[0019] Другие реализации, раскрытые в данном документе, направлены на систему, устройство и машиночитаемый носитель. Подробности раскрытых реализаций изложены в сопроводительных графических материалах и приведенном ниже описании. Другие признаки, цели и преимущества очевидны из описания, графических материалов и формулы изобретения.

[0020] Раскрытые в данном документе конкретные реализации обеспечивают одно или более из следующих преимуществ. Раскрытый формат битового потока IVAS представляет собой эффективный и надежный формат битового потока, поддерживающий ряд функциональных возможностей звуковых служб, включая, но без ограничения, повышающее микширование монофонического сигнала в стереофонический сигнал и кодирование, декодирование и рендеринг звука с полным эффектом присутствия. В некоторых реализациях формат битового потока IVAS поддерживает комплексную расширенную связь (CACPL) для анализа и понижающего микширования стереофонических звуковых сигналов. В других реализациях формат битового потока IVAS поддерживает пространственную реконструкцию (SPAR) для анализа и понижающего микширования звуковых сигналов амбиофонии первого порядка (FoA).

ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0021] На графических материалах конкретные расположения или порядки схематических элементов, например тех, что представляют устройства, блоки, блоки команд и элементы данных, показаны для облегчения описания. Однако специалистам в данной области техники следует понимать, что конкретный порядок или расположение схематических элементов в графических материалах не предполагает, что требуется конкретный порядок или последовательность обработки или разделение процессов. Кроме того, включение схематического элемента в графический материал не предполагает, что такой элемент необходим во всех вариантах осуществления или что признаки, представленные таким элементом, нельзя включать в другие элементы или сочетать с ними в некоторых реализациях.

[0022] Кроме того, в графических материалах, где соединительные элементы, такие как сплошные или пунктирные линии или стрелки, используют для иллюстрации соединения, отношения или связи между двумя или более другими схематическими элементами или среди них, отсутствие любого из таких соединяющих элементов не предполагает, что соединения, отношения или связи не могут существовать. Другими словами, некоторые соединения, отношения или связи между элементами не показаны на графических материалах, чтобы не затруднять понимание настоящего изобретения. Дополнительно для упрощения иллюстрации один соединительный элемент используют для представления множества соединений, отношений или связей между элементами. Например, если соединительный элемент представляет передачу сигналов, данных или команд, специалистам в данной области техники следует понимать, что такой элемент представляет один или множество путей сигнала, по необходимости, для воздействия на передачу.

[0023] На фиг. 1 изображена система IVAS согласно одному варианту осуществления.

[0024] На фиг. 2 представлена структурная схема системы для кодирования и декодирования битовых потоков IVAS согласно одному варианту осуществления.

[0025] На фиг. 3 представлена блок-схема кодера/декодера («кодека») FoA для кодирования и декодирования битовых потоков IVAS в формате FoA согласно одному варианту осуществления.

[0026] На фиг. 4A представлена блок-схема способа кодирования IVAS согласно одному варианту осуществления.

[0027] На фиг. 4B представлена блок-схема способа кодирования IVAS с использованием альтернативного формата IVAS согласно одному варианту осуществления.

[0028] На фиг. 5A представлена блок-схема способа декодирования IVAS согласно одному варианту осуществления.

[0029] На фиг. 5B представлена блок-схема способа декодирования IVAS с использованием альтернативного формата IVAS согласно одному варианту осуществления.

[0030] На фиг. 6 представлена блок-схема способа кодирования IVAS SPAR согласно одному варианту осуществления.

[0031] На фиг. 7 представлена блок-схема способа декодирования IVAS SPAR согласно одному варианту осуществления.

[0032] На фиг. 8 представлена структурная схема иллюстративной архитектуры устройства согласно одному варианту осуществления.

[0033] Одинаковые ссылочные позиции, используемые в разных графических материалах, указывают подобные элементы.

ПОДРОБНОЕ ОПИСАНИЕ

[0034] В следующем подробном описании многочисленные конкретные подробности изложены для обеспечения полного понимания различных описанных вариантов осуществления. Для специалиста в данной области техники будет очевидно, что различные описанные реализации могут быть реализованы на практике без этих конкретных подробностей. В других примерах хорошо известные способы, процедуры, компоненты и схемы не были описаны подробно, чтобы не создавать ненужного затруднения понимания аспектов вариантов осуществления. Ниже описаны некоторые признаки, каждый из которых может быть использован независимо друг от друга или с любым сочетанием других признаков.

Терминология

[0035] В контексте настоящего документа слово «включает» и его варианты следует понимать как неограничивающие термины, которые означают «включает, но без ограничения». Слово «или» следует понимать как «и/или», если контекст явно не указывает иное. Выражение «на основе» следует понимать как «на основе по меньшей мере частично». Выражения «одна иллюстративная реализация» и «иллюстративная реализация» следует понимать как «по меньшей мере одна иллюстративная реализация». Выражение «другая реализация» следует понимать как «по меньшей мере одна другая реализация». Слова «определенный», «определяет» или «определяющий» следует понимать как «получающий», «принимающий», «вычисляющий», «рассчитывающий», «оценивающий», «предсказывающий» или «выводящий». Дополнительно, в следующем описании и формуле изобретения, если не задано иное, все технические и научные термины, используемые в данном документе, имеют тот же смысл, что и обычно понимаемый специалистами в области, к которой принадлежит настоящее изобретение.

Обзор системы IVAS

[0036] На фиг. 1 изображена система 100 IVAS согласно одной или более реализациям. В некоторых реализациях различные устройства поддерживают связь посредством сервера 102 обработки вызовов, выполненного с возможностью приема звуковых сигналов от, например, устройства телефонной сети общего пользования (PSTN) или устройства наземной сети мобильной связи общего пользования (PLMN), изображенного как PSTN/ДРУГАЯ PLMN 104. Система 100 IVAS поддерживает устаревшие устройства 106, выполняющие рендеринг и запись звука только в виде монофонического сигнала, включая, но без ограничения, устройства, поддерживающие голосовые службы с расширенными возможностями (EVS), широкополосное кодирование с переменной скоростью (AMR-WB) и адаптивное узкополосное кодирование с переменной скоростью (AMR-NB). Система 100 IVAS также поддерживает пользовательское оборудование (UE) 108, 114, которое выполняет запись и рендеринг стереофонических звуковых сигналов, или UE 110, которое выполняет запись и бинауральный рендеринг монофонических сигналов в многоканальные сигналы. Система 100 IVAS также поддерживает сигналы с эффектом присутствия и стереофонические сигналы, захваченные и подвергнутые рендерингу системами 116, 118 помещений для видеоконференций, соответственно. Система 100 IVAS также поддерживает запись стереофонического сигнала и рендеринг с эффектом присутствия стереофонических звуковых сигналов для систем домашних кинотеатров, а также запись монофонического сигнала и рендеринг с эффектом присутствия звуковых сигналов для приспособления 122 виртуальной реальности (VR) и получающих содержимое устройств 124 с эффектом присутствия.

Иллюстративные системы кодирования/декодирования IVAS

[0037] На фиг. 2 представлена структурная схема системы 200 для кодирования и декодирования битовых потоков IVAS согласно одной или более реализациям. Для кодирования кодер IVAS содержит блок 202 пространственного анализа и понижающего микширования, который принимает аудиоданные 201, включая, но без ограничения, монофонические сигналы, стереофонические сигналы, бинауральные сигналы, пространственные звуковые сигналы (например, многоканальные пространственные звуковые объекты), FoA, амбиофонию более высокого порядка (HoA) и любые другие аудиоданные. В некоторых реализациях блок 202 пространственного анализа и понижающего микширования реализует CACPL для анализа/понижающего микширования стереофонических звуковых сигналов и/или SPAR для анализа/понижающего микширования звуковых сигналов FoA. В других реализациях блок 202 пространственного анализа и понижающего микширования реализует другие форматы.

[0038] Выходные данные блока 202 пространственного анализа и понижающего микширования содержат пространственные метаданные и 1–4 канала аудиоданных. Пространственные метаданные вводятся в блок 203 квантования и энтропийного кодирования, который выполняет квантование и энтропийное кодирование пространственных данных. В некоторых реализациях квантование может включать тонкую, умеренную, грубую и сверхгрубую стратегии квантования, а энтропийное кодирование может включать кодирование Хаффмана или арифметическое кодирование. Блок 206 кодирования голосовых служб с расширенными возможностями (EVS) кодирует 1–4 канала аудиоданных в один или более битовых потоков EVS.

[0039] В некоторых реализациях блок 206 кодирования EVS соответствует 3GPP TS 26.445 и обеспечивает широкий диапазон функциональных возможностей, таких как повышенное качество и эффективность кодирования для узкополосных (EVS-NB) и широкополосных (EVS-WB) речевых служб, повышенное качество при использовании сверхширокополосной (EVS-SWB) речи, повышенное качество для смешанного содержимого и музыки в диалоговых применениях, устойчивость к потере пакетов и флуктуации времени задержки, и обратную совместимость с кодеком AMR-WB. В некоторых реализациях блок 206 кодирования EVS содержит блок предварительной обработки и выбора режима, который делает выбор между речевым кодером для кодирования речевых сигналов и перцептивным кодером для кодирования звуковых сигналов с точно определенным битрейтом на основе управления 207 режимом/битрейтом. В некоторых реализациях речевой кодер представляет собой усовершенствованный вариант алгебраического линейного предсказания с кодовым возбуждением (ACELP), расширенного с помощью специализированных режимов на основе LP для разных классов речи. В некоторых реализациях аудиокодер представляет собой кодер с модифицированным дискретным косинусным преобразованием (MDCT) с повышенной эффективностью при малой задержке/низких битрейтах, и он выполнен с возможностью осуществления гладкого и надежного переключения между речевыми кодерами и аудиокодерами.

[0040] В некоторых реализациях декодер IVAS содержит блок 204 квантования и энтропийного декодирования, выполненный с возможностью восстановления пространственных метаданных, и декодер (-ы) EVS, выполненный с возможностью восстановления 1–4-канальных звуковых сигналов. Восстановленные пространственные метаданные и звуковые сигналы вводятся в блок 209 пространственного синтеза/рендеринга, который выполняет синтез/рендеринг звуковых сигналов с использованием пространственных метаданных для воспроизведения на различных звуковых системах 210.

Иллюстративный КОДЕК IVAS/SPAR

[0041] На фиг. 3 представлена структурная схема кодека 300 FoA для кодирования и декодирования FoA в формате SPAR согласно некоторым реализациям. Кодек 300 FoA содержит кодер 301 SPAR FoA, кодер 305 EVS, декодер 306 SPAR FoA и декодер 307 EVS. Кодек 300 FoA преобразует входной сигнал FoA в набор каналов понижающего микширования и параметров, используемый для восстановления входного сигнала в декодерах 306, 307. Сигналы понижающего микширования могут варьировать от 1 до 4 каналов, а параметры содержат коэффициенты предсказания (PR), коэффициенты перекрестного предсказания (С) и коэффициенты декорреляции (Р). Следует отметить, что SPAR представляет собой способ, используемый для реконструкции звукового сигнала из подвергнутой понижающему микшированию версии звукового сигнала с использованием параметров PR, C и P, как более подробно описано ниже.

[0042] Следует отметить, что в иллюстративной реализации, показанной на фиг. 3, предполагается пассивный канал W и изображен номинальный 2-канальный сигнал понижающего микширования, в котором канал W передается в декодер 306 в неизменном виде вместе с одним предсказанным каналом Y’. В других реализациях W может представлять собой активный канал. Активный канал W допускает некоторое микширование каналов X, Y, Z в канал W следующим образом:

W’ = W + f * pr_y * Y + f * pr_z * Z + f * pr_x * X,

где f – постоянная (например, равная 0,5), позволяющая микшировать некоторые из каналов X, Y, Z в канал W, а pry, prx и prz – коэффициенты предсказания (PR). Для пассивного W f = 0, поэтому микширование каналов X, Y, Z в канал W отсутствует.

[0043] Как более подробно описано ниже, коэффициенты С позволяют реконструировать некоторые из каналов X и Z из Y’, а остальные каналы реконструируют посредством декоррелированных версий канала W, как более подробно описано ниже.

[0044] В некоторых реализациях кодер 301 SPAR FoA содержит блок 302 пассивного/активного предсказателя, блок 303 повторного микширования и блок 304 извлечения/выбора понижающего микширования. Пассивный/активный предсказатель принимает каналы FoA в 4-канальном формате В (W, Y, Z, X) и вычисляет предсказанные каналы (W или W’, Y’, Z’, X’). Следует отметить, что канал W представляет собой всенаправленную полярную диаграмму направленности, содержащую все звуки в сфере, исходящие со всех направлений с равным коэффициентом усиления и фазой, X представляет собой двунаправленную полярную диаграмму направленности в форме цифры 8, указывающую вперед, Y представляет собой двунаправленную диаграмму направленности в форме цифры 8, указывающую влево, и Z представляет собой двунаправленную диаграмму направленности в форме цифры 8, указывающую вверх.

[0045] Блок 304 извлечения/выбора понижающего микширования извлекает метаданные SPAR FoA из раздела полезной нагрузки метаданных битового потока IVAS, как более подробно описано ниже. Блок 302 пассивного/активного предсказателя и блок 303 повторного микширования используют метаданные SPAR FoA для генерирования подвергнутых повторному микшированию каналов FoA (W или W’, A’, B’, C’), которые вводятся в кодер 305 EVS с целью их кодирования в битовый поток EVS, который инкапсулируется в битовом потоке IVAS, передаваемом в декодер 306. Следует отметить, что в этом примере амбиофонические каналы формата В упорядочены в формате AmbiX. Однако также могут использоваться и другие форматы, такие как формат Фурс-Мэлхема (FuMa) (W, X, Y, Z).

[0046] Со ссылкой на декодер 306 SPAR FoA, битовый поток EVS декодируется посредством декодера 307 EVS, что в результате дает N (например, N=4) каналов понижающего микширования. В некоторых реализациях декодер 306 SPAR FoA выполняет в обратном порядке операции, выполненные кодером 301 SPAR. Например, подвергнутые повторному микшированию каналы FoA (W или W’, A’, B’, C’) восстанавливаются из N каналов понижающего микширования с использованием пространственных метаданных SPAR FoA. Подвергнутые повторному микшированию каналы SPAR FoA вводятся в обратный микшер 311 для восстановления предсказанных каналов SPAR FoA (W или W’, Y’, Z’, X’). Предсказанные каналы SPAR FoA затем вводятся в обратный предсказатель 312 для восстановления исходных, не подвергнутых микшированию каналов SPAR FoA (W, Y, Z, X). Следует отметить, что в этом двухканальном примере для генерирования декоррелированных версий канала W с использованием декоррелятора во временной области или частотной области используются блоки 309a (dec₁)…309n (dec_D) декоррелятора. Декоррелированные каналы используются в комбинации с метаданными SPAR FoA для полной или параметрической реконструкции каналов X и Z.

[0047] В некоторых реализациях, в зависимости от количества каналов понижающего микширования, один из входных сигналов FoA передается в декодер 306 SPAR FoA без изменений (канал W), а от одного до трех других каналов (Y, Z и X) передаются в декодер 306 SPAR FoA или в виде остаточных сигналов, или полностью параметрически. Коэффициенты PR, которые остаются одинаковыми вне зависимости от количества N каналов понижающего микширования, используются для сведения к минимуму предсказываемой энергии в остаточных каналах понижающего микширования. Коэффициенты С используются для дополнительного содействия при восстановлении полностью параметризованных каналов из остаточных сигналов. Как таковые, коэффициенты С не требуются в случаях одно- и четырехканального понижающего микширования, где отсутствуют остаточные каналы или параметризованные каналы для предсказания на их основе. Коэффициенты Р используются для заполнения остающейся энергии, не учтенной коэффициентами PR и С. Количество коэффициентов Р зависит от количества N каналов понижающего микширования в каждой полосе. В некоторых реализациях коэффициенты PR SPAR (только пассивный W) вычисляют следующим образом.

[0048] Этап 1. Предсказать все побочные сигналы (Y, Z, X) из основного сигнала W с использованием уравнения [1].

где, в качестве примера, параметр предсказания для предсказанного канала Y′ вычисляют с использованием уравнения [2].

где – элементы входной ковариационной матрицы, соответствующей сигналам А и В. Аналогично остаточные каналы Z’ и X’ характеризуются соответствующими параметрами предсказания, prz и prx. PR представляет собой вектор коэффициентов предсказания,

[0049] Этап 2. Выполнить повторное микширование W и предсказанных сигналов (Y’, Z’, X’) от наиболее до наименее акустически значимых, где «повторное микширование» означает изменение порядка или изменение комбинации сигнала на основе некоторой методологии,

[0050] Одна реализация повторного микширования представляет собой изменение порядка входных сигналов в W, Y’, X’, Z’ в предположении, что звуковые метки слева и справа являются более акустически значимыми, чем передне-задние, а передне-задние метки являются более акустически значимыми, чем верхне-нижние метки.

[0051] Этап 3. Вычислить ковариацию 4-канального последующего предсказания и повторное микширование понижающего микширования, как показано в уравнениях [4] и [5].

где d представляет дополнительные каналы понижающего микширования помимо W (т.е. каналы от 2-го до Ndmx), а u представляет каналы, которые необходимо восстановить полностью (т. е. каналы от (Ndmx+1)-го до 4-го).

[0052] Для примера понижающего микширования WABC с 1–4 каналами d и u представляют следующие каналы, показанные в таблице I:

[0053] Наибольший интерес для вычисления метаданных SPAR FoA представляют величины R_dd, R_ud и R_uu. На основе величин R_dd, R_ud и R_uu система определяет, возможно ли перекрестное предсказание какой-либо остающейся части полностью параметрических каналов из остаточных каналов, передаваемых в декодер. В некоторых реализациях необходимые дополнительные коэффициенты С имеют вид:

[0054] Поэтому параметр C имеет форму (1×2) для 3-канального понижающего микширования и (2×1) – для 2-канального понижающего микширования.

[0055] Этап 4. Вычислить остающуюся энергию в параметризованных каналах, которую необходимо реконструировать декорреляторами. Остаточная энергия в каналах повышающего микширования, Res_uu, представляет собой разность между фактической энергией R_uu (последующее предсказание) и восстановленной энергией Reg_uu перекрестного предсказания.

[0056] P также представляет собой ковариационную матрицу, а значит является эрмитовой симметричной, и таким образом в декодер 306 необходимо передавать только параметры из верхнего или нижнего треугольника. Диагональные элементы являются вещественными, тогда как недиагональные элементы могут быть комплексными.

Иллюстративное кодирование/декодирование битовых потоков IVAS

[0057] Как описано со ссылкой на фиг. 2 и 3, битовые поток (-и) IVAS кодируются и декодируются с помощью кодека IVAS. В некоторых реализациях кодер IVAS определяет и кодирует указатель инструмента кодирования и указатель частоты дискретизации в разделе общего заголовка (СН) битового потока IVAS. В некоторых реализациях указатель инструмента кодирования содержит значения, соответствующие инструментам кодирования, а указатель частоты дискретизации содержит значения, указывающие частоту дискретизации. Кодер IVAS определяет и кодирует полезную нагрузку EVS в разделе полезной нагрузки EVS (EP) битового потока. Раздел EP следует за разделом СН. Кодер IVAS определяет и кодирует полезную нагрузку метаданных в разделе полезной нагрузки метаданных (MDP) битового потока. В некоторых реализациях раздел MDP следует за разделом СН. В других реализациях раздел MDP следует за разделом EP битового потока или раздел EP следует за разделом MDP битового потока. В некоторых реализациях кодер IVAS сохраняет битовый поток на постоянном машиночитаемом носителе или выполняет потоковую передачу битового потока в находящееся далее по ходу потока устройство. В других реализациях кодер IVAS включает архитектуру устройства, показанную на фиг. 8

[0058] В некоторых реализациях декодер IVAS принимает битовый поток IVAS и извлекает и декодирует аудиоданные, закодированные кодером IVAS в формате IVAS. Декодер IVAS извлекает и декодирует указатель инструмента кодирования и указатель частоты дискретизации в разделе СН битового потока IVAS. Декодер IVAS извлекает и декодирует полезную нагрузку EVS в разделе EP битового потока. Раздел EP следует за разделом СН. Декодер IVAS извлекает и декодирует полезную нагрузку метаданных в разделе MDP битового потока. Раздел MDP следует за разделом СН. В других реализациях раздел MDP следует за разделом EP битового потока или раздел EP следует за разделом MDP битового потока. В некоторых реализациях система IVAS управляет аудиодекодером на основе инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных. В других реализациях система IVAS сохраняет представление инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе. В некоторых реализациях декодер IVAS включает архитектуру устройства, показанную на фиг. 8.

[0059] В некоторых реализациях указатель инструмента кодирования IVAS представляет собой многобитовую структуру данных. В других реализациях указатель инструмента кодирования IVAS представляет собой структуру данных из трех битов, в которой первое значение структуры данных из трех битов соответствует инструменту кодирования множества монофонических сигналов, второе значение структуры данных из трех битов соответствует инструменту кодирования CACPL, а третье значение структуры данных из трех битов соответствует другому инструменту кодирования. В других реализациях указатель инструмента кодирования IVAS представляет собой структуру данных из двух битов, указывающую от одного до четырех инструментов кодирования IVAS, или структуру данных из 1-го бита, указывающую от одного до двух инструментов кодирования IVAS. В других реализациях указатель инструмента кодирования IVAS содержит три или более битов для указания разных инструментов кодирования IVAS.

[0060] В некоторых реализациях указатель входной частоты дискретизации представляет собой многобитовую структуру данных, указывающую разные входные частоты дискретизации. В некоторых реализациях указатель входной частоты дискретизации представляет собой структуру данных из двух битов, в которой первое значение структуры данных из двух битов указывает частоту дискретизации 8 кГц, второе значение структуры данных из двух битов указывает частоту дискретизации 16 кГц, третье значение структуры данных из двух битов указывает частоту дискретизации 32 кГц, а четвертое значение структуры данных из двух битов указывает частоту дискретизации 48 кГц. В других реализациях указатель входной частоты дискретизации представляет собой структуру данных из одного бита, указывающую от одной до двух частот дискретизации. В других реализациях указатель входной частоты дискретизации содержит три или более битов, указывающих разные частоты дискретизации.

[0061] В некоторых реализациях система сохраняет в разделе ЕР или считывает из этого раздела битового потока количество каналов EVS: указатель количества каналов EVS; указатель режима извлечения битрейта (BR); данные BR EVS; и полезные нагрузки EVS для всех каналов, как описано в технической спецификации (TS) 26.445 Проекта партнерства 3-гопоколения (3GPP), в этом порядке.

[0062] В других реализациях система сохраняет в разделе ЕР или считывает из этого раздела битового потока указатель количества каналов EVS.

[0063] В других реализациях система сохраняет в разделе ЕР или считывает из этого раздела битового потока указатель режима извлечения битрейта (BR).

[0064] В других реализациях система сохраняет в разделе ЕР или считывает из этого раздела битового потока данные BR EVS.

[0065] В других реализациях система сохраняет в разделе ЕР или считывает из этого раздела битового потока полезные нагрузки EVS для всех каналов, как описано в технической спецификации (TS) 26.445 Проекта партнерства 3-гопоколения (3GPP), в этом порядке.

[0066] В некоторых реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных: указатель методики кодирования; указатель количества полос; указатель, указывающий конфигурацию задержки банка фильтров; указатель стратегии квантования; указатель энтропийного кодера; указатель типа вероятностной модели; вещественную часть коэффициентов; мнимую часть коэффициентов; и один или более коэффициентов.

[0067] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель методики кодирования.

[0068] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель количества полос.

[0069] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель, указывающий конфигурацию задержки банка фильтров.

[0070] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель стратегии квантования.

[0071] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель энтропийного кодера.

[0072] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных указатель типа вероятностной модели.

[0073] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных вещественную часть коэффициентов. В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных мнимую часть коэффициентов.

[0074] В других реализациях система IVAS сохраняет в разделе MDP или считывает из этого раздела потока данных один или более коэффициентов.

[0075] Ниже проиллюстрированы некоторые примеры форматов битовых потоков IVAS.

Иллюстративные форматы битовых потоков IVAS – формат с 3 подразделами

[0076] В некоторых реализациях формат битового потока IVAS содержит следующие 3 подраздела.

Общий заголовок (CH) Полезная нагрузка EVS (EP) Полезная нагрузка метаданных (MDP)

[0077] В некоторых реализациях параметры каждого поля в каждом подразделе и соответствующие им распределения битов имеют описанный ниже вид.

Общий заголовок (CH):

Инструмент кодирования IVAS 3 бита
000 – множество монофонических сигналов
001 – CACPL
010 – другой
011–111: зарезервированы Входная частота дискретизации 2 бита
00 – 8 кГц
01 – 16 кГц
10 – 32 кГц
11 – 48 кГц

Полезная нагрузка EVS (EP):

Количество каналов EVS (numEVS_Ch) 4 бита: 1–16 каналов Режим извлечения BR (BRM) 2 бита
00 – указывает номинальный битрейт EVS
01 – указывает фактический битрейт (любой в диапазоне 7,2–128 кбит/с с гранулярностью 50/100 бит/с)
10 – указывает, что были закодированы соотношения BR
11 – зарезервировано EVS BR Извлекается на основе BRM
Если BRM == 00
4 бита * numEVS_Ch
Битрейт может составлять 7200, 8000, 9600, 13200, 16400, 24400, 32000, 48000, 64000, 96000, 12800
Если BRM == 01
11 битов * numEVS_Ch
Битрейт может составлять от 7200 и 128000 с гранулярностью 50 бит/с до 48000 бит/с, и 100 бит/с – выше 48000 (для поддержания общего количества BR ниже 2048)
Если BRM == 10
7 + 3*(numEVS_Ch)
7 битов для указания наивысшего BR (hBR) среди всех каналов EVS (от 7200 до 128000 с гранулярностью 1000 бит/с)
3 бита на канал для остальных каналов, указывающие долю наивысшего битрейта.
другие битрейты могут быть равны hBR*n, где n может составлять от 1/8 до 8/8. Полезная нагрузка EVS для numEVS_Ch Полезная нагрузка EVS будет подвергаться синтаксическому анализу согласно 3GPP TS 26.445

Полезная нагрузка метаданных (MDP):

CACPL Множество монофонических сигналов Другие 1 бит, указывающий методику кодирования:
Полное параметрическое (FP), среднеостаточное (MR) или гибридное (HY) из FP и MR
0 – FP или HY (присутствуют оба коэффициента a и b)
1 – MR (присутствует только а) 2 бита, указывающие количество полос
00 – 12 полос
01 – 24 полосы
10 – 36 полос
11 – зарезервировано
Фактическое количество полос будет определено на основе частоты дискретизации в CH IVAS и этого поля. 2 бита, указывающие конфигурацию задержки банка фильтров
00 – 1 мс
01 – 2 мс
10 – 4 мс
11 – зарезервировано 2 бита, указывающие стратегию квантования
00 – тонкая
01 – умеренная
10 – грубая
11 – сверхгрубая 2 бита, указывающие энтропийный кодер
00 – Хаффмана
01 – Арифметическое
10 – Нет энтропийного кодирования
11 – зарезервировано 1 бит – тип вероятностной модели (Этот бит кодируется только если энтропийный кодер равен 00 или 01)
0 – Абсолютная вероятностная модель
1 – Дифференциальная вероятностная модель вещественная часть коэффициентов «a» (Хаффмана / Арифметическое / Нет энтропийного кодирования) мнимая часть коэффициентов «a» (Хаффмана / Арифметическое / Нет энтропийного кодирования) коэффициенты «b» (Хаффмана / Арифметическое / Нет энтропийного кодирования)

[0078] Преимуществом вышеописанного варианта осуществления формата битового потока IVAS является то, что он эффективно и компактно кодирует данные, которые поддерживают ряд функциональных возможностей звуковых служб, включая, но без ограничения, повышающее микширование монофонического сигнала в стереофонический сигнал и кодирование, декодирование и рендеринг звука с полным эффектом присутствия. Он также поддерживается широким рядом устройств, оконечных устройств и узлов сети, включая, но без ограничения, мобильные телефоны и смартфоны, электронные планшеты, персональные компьютеры, конференц-телефоны, помещения для переговоров, устройства виртуальной реальности (VR) и дополненной реальности (AR), устройства домашнего кинотеатра и другие подходящие устройства, каждое из которых может иметь различные акустические интерфейсы для записи и рендеринга звука. Формат битового потока IVAS имеет возможность расширения, и поэтому его можно легко развивать вместе со стандартом и технологией IVAS.

Иллюстративные форматы битовых потоков IVAS – формат с 4 подразделами

[0079] Следующее описание дополнительного варианта осуществления будет сфокусировано на различиях между этим и ранее описанным вариантами осуществления. Поэтому признаки, которые являются общими для обоих вариантов осуществления, могут быть опущены в следующем описании, и если это так, то следует полагать, что признаки ранее описанных вариантов осуществления реализованы или по меньшей мере могут быть реализованы в дополнительном варианте осуществления, если только его следующее описание не требует иного. Дополнительно, когда признак берется из реализации, раскрытой ниже, и добавляется в пункт формулы изобретения, это признак может не иметь отношения или не быть неразрывно связан с другими признаками этой реализации.

[0080] В других реализациях битовый поток IVAS содержит следующие 4 подраздела.

Общий заголовок (CH) Общий заголовок инструмента пространственного кодирования (CTH) Полезная нагрузка EVS – EP, или полезная нагрузка метаданных (MDP) Полезная нагрузка метаданных – MDP, или полезная нагрузка EVS (ЕР)

[0081] В некоторых реализациях кодер IVAS определяет и кодирует указатель инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS. Указатель инструмента кодирования содержит значения, соответствующие инструментам кодирования. Кодер IVAS определяет и кодирует индекс строки для таблицы управления распределением битрейта IVAS в разделе общего заголовка инструмента пространственного кодирования (СТН) битового потока IVAS. Раздел СТН следует за разделом СН. Кодер IVAS определяет и кодирует полезную нагрузку EVS в разделе полезной нагрузки EVS (EP) битового потока IVAS. Раздел EP следует за разделом СН. Кодер IVAS определяет и кодирует полезную нагрузку метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS. Раздел MDP следует за разделом СН.

[0082] В некоторых реализациях раздел ЕР идет перед разделом MDP или после него, в зависимости от одного или более параметров. В некоторых реализациях эти один или более параметров включают режим обратной совместимости монофонического сигнала понижающего микширования многоканального входного сигнала с режимами номинального битрейта, как описано в 3GPP TS 26.445.

[0083] В некоторых реализациях система IVAS сохраняет битовый поток IVAS на постоянном машиночитаемом носителе. В других реализациях система IVAS выполняет потоковую передачу битового потока на находящееся далее по ходу потока устройство. В некоторых реализациях кодер IVAS включает архитектуру устройства, показанную на фиг. 8

[0084] В некоторых реализациях декодер IVAS принимает битовый поток IVAS и извлекает и декодирует аудиоданные, закодированные в формате IVAS кодером IVAS. Декодер IVAS извлекает и декодирует указатель инструмента кодирования в разделе СН битового потока IVAS. Декодер IVAS извлекает и декодирует индекс для таблицы управления распределением битрейта IVAS. Декодер IVAS извлекает и декодирует полезную нагрузку EVS в разделе EP битового потока IVAS. Раздел EP следует за разделом СН. Декодер IVAS извлекает и декодирует полезную нагрузку метаданных в разделе MDP битового потока IVAS. Раздел MDP следует за разделом СН.

[0085] В некоторых реализациях раздел ЕР идет перед разделом MDP или после него, в зависимости от одного или более параметров. В некоторых реализациях эти один или более параметров включают режим обратной совместимости монофонического сигнала понижающего микширования многоканального входного сигнала с режимами номинального битрейта, как описано в 3GPP TS 26.445.

[0086] В некоторых реализациях система IVAS управляет аудиодекодером на основе инструмента кодирования, индекса для таблицы управления распределением битрейта IVAS, полезной нагрузки EVS и полезной нагрузки метаданных. В других реализациях система IVAS сохраняет представление инструмента кодирования, индекса для таблицы управления распределением битрейта IVAS, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе. В некоторых реализациях декодер IVAS включает архитектуру устройства, показанную на фиг. 8.

Общий заголовок (CH):

Инструмент пространственного кодирования IVAS 3 бита
000 – множество монофонических сигналов
001 – CACPL
010 – другой
011–111: зарезервированы

Общий заголовок инструмента пространственного кодирования (CTH):

Общий заголовок инструмента пространственного кодирования Переменная длина
В некоторых реализациях длина этого поля зависит от количества записей о рабочем битрейте IVAS в таблице управления распределением битрейта IVAS.
В некоторых реализациях значение этого поля представляет собой смещение индекса, указывающее на индекс строки таблицы управления распределением битрейта IVAS (этот индекс строки относится к индексу первой записи о рабочем битрейте IVAS).

Полезная нагрузка метаданных (MDP):

[0087] Преимуществом таблицы управления распределением битрейта IVAS является то, что она записывает информацию о режимах пространственного кодирования, так что информацию о режимах пространственного кодирования не нужно включать в раздел MDP.

CACPL Множество монофонических сигналов Другие 2 бита, указывающие количество полос банка фильтров
00 – 12 полос
01 – 24 полосы
10 – 36 полос
11 – зарезервировано
В некоторых реализациях фактическое количество полос определяется на основе индекса таблицы управления распределением битрейта IVAS, который указывается с помощью раздела СТН и этого поля. 2 бита, указывающие конфигурацию задержки банка фильтров
00 – 1 мс
01 – 2 мс
10 – 4 мс
11 – зарезервировано 2 бита, указывающие стратегию квантования
00 – тонкая
01 – умеренная
10 – грубая
11 – сверхгрубая 2 бита, указывающие энтропийный кодер
00 – Хаффмана
01 – Арифметическое
10 – Нет энтропийного кодирования
11 – зарезервировано 1 бит – тип вероятностной модели (Этот бит кодируется только если энтропийный кодер равен 00 или 01)
0 – Абсолютная вероятностная модель
1 – Дифференциальная вероятностная модель вещественная часть коэффициентов «a» (Хаффмана / Арифметическое / Нет энтропийного кодирования) мнимая часть коэффициентов «a» (Хаффмана / Арифметическое / Нет энтропийного кодирования) коэффициенты «b» (Хаффмана / Арифметическое / Нет энтропийного кодирования)

Полезная нагрузка EVS (EP):

[0088] Этот раздел полезной нагрузки содержит закодированные биты EVS для одного или более звуковых каналов понижающего микширования. В некоторых реализациях общее количество битов в этом разделе может быть задано выражением где N (например, N=4) – это количество звуковых каналов понижающего микширования, которые требуется закодировать, EVS_BR (i) – это вычисленный битрейт EVS для i-гозвукового канала понижающего микширования, а stride_secs – это входная длина шага в секундах.

[0089] В некоторых реализациях каждая запись таблицы в таблице управления распределением битрейта IVAS содержит достаточно информации, чтобы извлекать битрейт каждого экземпляра EVS из общего количества бит, распределенных для EVS. Эта структура обеспечивает преимущество, заключающееся в том, что никакая дополнительная информация заголовка не требуется в полезной нагрузке EVS, чтобы извлекать биты для каждого экземпляра EVS.

Полезная нагрузка EVS для всех звуковых каналов понижающего микширования Полезная нагрузка EVS будет подвергаться синтаксическому анализу в соответствии с 3GPP TS 26.445

[0090] В некоторых реализациях параметры в таблице управления распределением битрейта IVAS имеют следующие значения:

Формат входных данных Стереофонический сигнал – 1
Плоскостная FoA – 2
FoA – 3 Ширина полосы (BW) NB (узкая полоса) – 0
WB (широкая полоса) – 1
SWB (сверхширокая полоса) – 2
FB (полная полоса) – 3 Допустимый инструмент пространственного кодирования FP (полностью параметрическое) – 0
MR (среднеостаточное) – 1 Режим перехода Переход MR в FP – 1
Иначе – 0 Режим обратной совместимости монофонического сигнала понижающего микширования: Для Mid или W канал должен быть обратно совместимым с режимами номинального битрейта согласно 3GPP TS 26. 455 – 1
Иначе – 0

[0091] Иллюстративная таблица управления распределением битрейта IVAS является следующей.

Рабочий битрейт IVAS Формат входных данных BW Режим простран-ственного кодирования звука Режим перехода Режим обратной совместимости моно-фонического сигнала понижающего микширо-вания Целевой битрейт EVS СООТНО-ШЕНИЕ BR Мини-мальный битрейт EVS Этапы отклонения BR EVS (бит/с) 16,4 1 1 1 0 0 11400 (1, 0) 9000 (200, 400, 800) 16,4 1 2 1 0 0 11400 (1, 0) 9000 (200, 400, 800) 16,4 1 2 1 0 1 9600 (1, 0) 9600 (0, 0, 0) 24,4 1 1 1 0 0 19200 (1, 0) 16400 (200, 400, 800) 24,4 1 1 2 0 0 19200 (3, 2) 16400 (50, 100, 200) 24,4 1 1 1 1 0 19200 (3, 2) 16400 (50, 100, 200) 24,4 2 1 1 0 0 16400 (1, 0, 0) 13200 (200, 400, 800) 24,4 1 2 1 0 0 19200 (1, 0) 16400 (200, 400, 800) 24,4 1 2 2 0 0 19200 (3, 2) 16400 (50, 100, 200) 24,4 1 2 1 1 0 19200 (3, 2) 16400 (50, 100, 200) 24,4 1 2 2 0 1 19200 (1, 1) 19200 (0, 0, 0) 24,4 2 2 1 0 0 16400 (1, 0, 0) 13200 (200, 400, 800) 24,4 2 2 1 0 1 13200 (1, 0, 0) 13200 (0, 0, 0) 24,4 1 3 1 0 0 19200 (1, 0) 16400 (200, 400, 800) 32 1 1 2 0 0 28000 (3, 2) 24400 (50, 100, 200) 32 2 1 1 0 0 23200 (1, 0, 0) 19200 (400, 800, 1200) 32 3 1 1 0 0 20800 (1, 0, 0, 0) 16400 (400, 800, 1200) 32 1 2 1 0 0 28000 (1, 0) 24400 (400, 800, 1200) 32 1 2 2 0 0 28000 (3, 2) 24400 (50, 100, 200) 32 1 2 2 0 1 26000 (41, 24) 26000 (0, 0, 0) 32 1 2 1 1 0 28000 (3, 2) 24400 (50, 100, 200) 32 2 2 1 0 0 26600 (1, 0, 0) 25200 (400, 800, 1200) 32 2 2 2 0 0 26600 (3, 2, 2) 25200 (50, 100, 200) 32 2 2 1 0 1 16400 (1, 0, 0) 16400 (0, 0, 0) 32 2 2 1 1 0 26600 (3, 2, 2) 25200 (50, 100, 200) 32 3 2 1 0 0 20800 (1, 0, 0, 0) 16400 (400, 800, 1200) 32 1 3 1 0 0 26000 (1, 0) 23200 (400, 800, 1200) 32 2 3 1 0 0 26400 (1, 0, 0) 23200 (400, 800, 1200) 48 1 1 2 0 0 44000 (3, 2) 40000 (100, 200, 400) 48 2 1 2 0 0 40000 (3, 2, 2) 36000 (100, 200, 400) 48 3 1 2 0 0 39600 (3, 2, 2, 2) 34200 (100, 200, 300) 48 1 2 2 0 0 44000 (3, 2) 40000 (100, 200, 400) 48 1 2 2 0 1 40800 (61, 41) 40800 (0, 0, 0) 48 2 2 2 0 0 40000 (3, 2, 2) 36000 (100, 200, 400) 48 2 2 2 0 1 35600 (41, 24, 24) 35600 (0, 0, 0) 48 3 2 1 0 0 34000 (1, 0, 0, 0) 30000 (600, 1000, 1600) 48 3 2 1 0 1 24400 (1, 0, 0, 0) 24400 (0, 0, 0) 48 1 3 1 0 0 44000 (1, 0) 40000 (600, 1000, 1600) 48 1 3 2 0 0 44000 (3, 2) 40000 (100, 200, 400) 48 1 3 1 1 0 44000 (3, 2) 40000 (100, 200, 400) 48 2 3 1 0 0 39200 (1, 0, 0) 35200 (600, 1000, 1600) 48 3 3 1 0 0 34000 (1, 0, 0, 0) 30000 (600, 1000, 1600) 64 1 1 2 0 0 60000 (3, 2) 56000 (100, 200, 400) 64 2 1 2 0 0 57400 (3, 2, 2) 52500 (100, 200, 400) 64 3 1 2 0 0 52000 (3, 2, 2, 2) 45000 (100, 200, 300) 64 1 2 2 0 0 60000 (3, 2) 56000 (100, 200, 400) 64 1 2 2 0 1 48800 (1, 1) 48800 (0, 0, 0) 64 2 2 2 0 0 57400 (3, 2, 2) 52200 (100, 200, 400) 64 2 2 2 0 1 50800 (61, 33, 33) 50800 (0, 0, 0) 64 3 2 2 0 0 52000 (3, 2, 2, 2) 45000 (100, 200, 300) 64 3 2 2 0 1 45200 (41, 24, 24, 24) 45200 (0, 0, 0) 64 1 3 2 0 0 60000 (3, 2) 56000 (100, 200, 400) 64 2 3 1 0 0 57400 (1, 0, 0) 52500 (800, 1200, 2000) 64 2 3 2 0 0 57400 (3, 2, 2) 52500 (100, 200, 400) 64 2 3 1 1 0 57400 (3, 2, 2) 52500 (100, 200, 400) 64 3 3 1 0 0 48000 (1, 0, 0, 0) 40000 (800, 1200, 2000) 96 1 1 2 0 0 90000 (3, 2) 86000 (200, 400, 600) 96 2 1 2 0 0 86000 (3, 2, 2) 78000 (200, 300, 400) 96 3 1 2 0 0 84000 (3, 2, 2, 2) 76000 (100, 200, 300) 96 1 2 2 0 0 90000 (3, 2) 86000 (200, 400, 600) 96 1 2 2 0 1 88000 (6, 5) 88000 (0, 0, 0) 96 2 2 2 0 0 86000 (3, 2, 2) 78000 (200, 300, 400) 96 2 2 2 0 1 80800 (80, 61, 61) 80800 (0, 0, 0) 96 3 2 2 0 0 84000 (3, 2, 2, 2) 76000 (100, 200, 300) 96 3 2 2 0 1 81200 (80, 41, 41, 41) 81200 (0, 0, 0) 96 1 3 2 0 0 90000 (3, 2) 86000 (200, 400, 600) 96 2 3 2 0 0 86000 (3, 2, 2) 78000 (200, 300, 400) 96 3 3 1 0 0 84000 (1, 0, 0, 0) 76000 (1000, 2000, 3000) 96 3 3 2 0 0 84000 (3, 2, 2, 2) 76000 (100, 200, 300) 96 3 3 1 1 0 84000 (3, 2, 2, 2) 76000 (100, 200, 300) 128 1 1 2 0 0 122000 (3, 2) 118000 (200, 400, 600) 128 2 1 2 0 0 118000 (3, 2, 2) 110000 (200, 300, 400) 128 3 1 2 0 0 116000 (3, 2, 2, 2) 108000 (100, 200, 300) 128 1 2 2 0 0 122000 (3, 2) 118000 (200, 400, 600) 128 2 2 2 0 0 118000 (3, 2, 2) 110000 (200, 300, 400) 128 3 2 2 0 0 116000 (3, 2, 2, 2) 108000 (100, 200, 300) 128 1 3 2 0 0 122000 (3, 2) 118000 (200, 400, 600) 128 2 3 2 0 0 118000 (3, 2, 2) 110000 (200, 300, 400) 128 3 3 2 0 0 116000 (3, 2, 2, 2) 108000 (100, 200, 300) 256 1 1 2 0 0 248000 (3, 2) 244000 (400, 800, 1000) 256 2 1 2 0 0 244000 (3, 2, 2) 236000 (300, 500, 800) 256 3 1 2 0 0 240000 (3, 2, 2, 2) 232000 (300, 400, 600) 256 1 2 2 0 0 248000 (3, 2) 244000 (400, 800, 1000) 256 2 2 2 0 0 244000 (3, 2, 2) 236000 (300, 500, 800) 256 3 2 2 0 0 240000 (3, 2, 2, 2) 232000 (300, 400, 600) 256 1 3 2 0 0 248000 (3, 2) 244000 (400, 800, 1000) 256 2 3 2 0 0 244000 (3, 2, 2) 236000 (300, 500, 800) 256 3 3 2 0 0 240000 (3, 2, 2, 2) 232000 (300, 400, 600)

Иллюстративное декодирование битовых потоков IVAS

[0092] В одном варианте осуществления этапы декодирования битового потока IVAS являются следующими:

[0093] Этап 1: вычислить рабочий битрейт IVAS на основе длины битового потока и stride_secs.

[0094] Этап 2: считать раздел СН постоянной длины, указывающий инструмент пространственного кодирования.

[0095] Этап 3: на основе рабочего битрейта IVAS определить длину поля СТН путем проверки количества записей рабочего битрейта IVAS (вычисленного на этапе 1) в таблице управления распределением битрейта IVAS.

[0096] Этап 3: считать смещение индекса в поле CTH, как только длина поля CTH станет известна.

[0097] Этап 5: определить фактический индекс таблицы управления распределением битрейта IVAS с использованием смещения индекса и рабочего битрейта IVAS.

[0098] Этап 6: считать всю информацию о распределении битрейта EVS и обратной совместимости монофонического сигнала понижающего микширования из определенной индексом записи таблицы.

[0099] Этап 7: если режим обратной совместимости монофонического сигнала понижающего микширования ВКЛЮЧЕН, то сначала передать остающиеся биты IVAS в декодер EVS, вычислить битовую длину для каждого экземпляра EVS на основе распределения битрейта EVS, считать биты EVS для каждого экземпляра EVS, декодировать биты EVS с помощью соответствующего декодера EVS и декодировать пространственные метаданные в разделе MDP.

[00100] Этап 8: если режим обратной совместимости монофонического сигнала понижающего микширования ВЫКЛЮЧЕН, декодировать пространственные метаданные в разделе MDP, вычислить битовую длину для каждого экземпляра EVS на основе распределения битрейта EVS и считать и декодировать биты EVS для каждого экземпляра EVS из раздела ЕР битового потока IVAS.

[00101] Этап 9: использовать декодированные выходные данные EVS и пространственные метаданные для построения входного формата аудиоданных, такого как стереофонический сигнал (CACPL) или FoA (SPAR).

[00102] Преимуществом вышеописанного варианта осуществления формата битового потока IVAS является то, что он эффективно и компактно кодирует данные, которые поддерживают ряд функциональных возможностей звуковых служб, включая, но без ограничения, повышающее микширование монофонического сигнала в стереофонический сигнал и кодирование, декодирование и рендеринг звука с полным эффектом присутствия. Он также поддерживается широким рядом устройств, оконечных устройств и узлов сети, включая, но без ограничения, мобильные телефоны и смартфоны, электронные планшеты, персональные компьютеры, конференц-телефоны, помещения для переговоров, устройства виртуальной реальности (VR) и дополненной реальности (AR), устройства домашнего кинотеатра и другие подходящие устройства, каждое из которых может иметь различные акустические интерфейсы для записи и рендеринга звука. Формат битового потока IVAS имеет возможность расширения, и поэтому его можно легко развивать вместе со стандартом и технологией IVAS.

Иллюстративное кодирование/декодирование IVAS SPAR

[00103] Следующее описание дополнительного варианта осуществления будет сфокусировано на различиях между этим и ранее описанным вариантами осуществления. Поэтому признаки, которые являются общими для обоих вариантов осуществления, могут быть опущены в следующем описании, и если это так, то следует полагать, что признаки ранее описанных вариантов осуществления реализованы или по меньшей мере могут быть реализованы в дополнительном варианте осуществления, если только его следующее описание не требует иного. Дополнительно, когда признак берется из реализации, раскрытой ниже, и добавляется в пункт формулы изобретения, это признак может не иметь отношения или не быть неразрывно связан с другими признаками этой реализации.

[00104] В некоторых реализациях кодер IVAS SPAR определяет и кодирует указатель режима/инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS. Указатель режима/инструмента кодирования имеет значения, соответствующие режимам/инструментам кодирования. Битовый поток IVAS определяет и кодирует заголовок режима / заголовок инструмента в разделе заголовка инструмента (ТН) битового потока IVAS, при этом раздел ТН следует за разделом СН. Кодер IVAS SPAR определяет и кодирует полезную нагрузку метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом СН. Кодер IVAS SPAR определяет и кодирует полезную нагрузку голосовых служб с расширенными возможностями (EVS) в разделе полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СН. В некоторых реализациях система IVAS сохраняет битовый поток на постоянном машиночитаемом носителе. В других реализациях система IVAS выполняет потоковую передачу битового потока на находящееся далее по ходу потока устройство. В некоторых реализациях кодер IVAS SPAR включает архитектуру устройства, описанную со ссылкой на фиг. 8.

[00105] В некоторых реализациях раздел ЕР следует за разделом MDP. Следует отметить, что следование раздела ЕР за разделом MDP в битовом потоке IVAS обеспечивает эффективную упаковку битов и позволяет менять количество битов MDP и битов ЕР (в зависимости от алгоритма распределения битрейта), а также обеспечивает использование всех доступных битов в бюджете битрейта IVAS.

[00106] В некоторых реализациях декодер IVAS SPAR извлекает и декодирует битовый поток IVAS, закодированный в формате IVAS SPAR. Декодер IVAS SPAR извлекает и декодирует указатель режима/инструмента кодирования в разделе СН битового потока. Указатель режима/инструмента кодирования имеет значения, соответствующие режимам/инструментам кодирования. Декодер IVAS SPAR извлекает и декодирует заголовок режима / заголовок инструмента в разделе заголовка инструмента (ТН) битового потока. Раздел ТН следует за разделом СН. Декодер IVAS SPAR извлекает и декодирует полезную нагрузку метаданных в разделе MDP битового потока. Раздел MDP следует за разделом СН. Декодер IVAS SPAR декодирует полезную нагрузку EVS в разделе EP битового потока. Раздел EP следует за разделом СН.

[00107] В некоторых реализациях система IVAS управляет аудиодекодером на основе режима кодирования, заголовка инструмента, полезной нагрузки EVS и полезной нагрузки метаданных. В других реализациях система IVAS сохраняет представление режима кодирования, заголовка инструмента, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе. В некоторых реализациях декодер IVAS SPAR включает архитектуру устройства, описанную со ссылкой на фиг. 8.

[00108] В некоторых реализациях СН содержит структуру данных из трех битов, где одно из значений структуры данных из трех битов соответствует режиму кодирования SPAR, а остальные значения соответствуют другим режимам кодирования. Структура данных из трех битов является преимущественной, так как она делает возможным компактный код, который может указывать до 8 режимов кодирования. В других реализациях CH содержит менее 3 битов. В других реализациях CH содержит более 3 битов.

[00109] В некоторых реализациях система IVAS сохраняет в разделе ТН или считывает из этого раздела битового потока IVAS индекс строки, указывающий на строку в таблице управления распределением битрейта SPAR. Например, индекс строки можно вычислить на основе количества строк, соответствующих рабочему битрейту IVAS, следующим образом: x = ceil(log2(количество строк, соответствующих битрейту IVAS)). Поэтому длина раздела ТН является переменной.

[00110] В некоторых реализациях система сохраняет в разделе MDP или считывает из этого раздела битового потока IVAS: указатель стратегии квантования; указатель стратегии кодирования; и квантованные и закодированные вещественные и мнимые части одного или более коэффициентов.

[00111] В других реализациях система сохраняет в разделе MDP или считывает из этого раздела битового потока IVAS указатель стратегии квантования.

[00112] В других реализациях система сохраняет в разделе MDP или считывает из этого раздела битового потока IVAS указатель стратегии кодирования.

[00113] В других реализациях система сохраняет в разделе MDP или считывает из этого раздела битового потока IVAS квантованные и закодированные вещественные и мнимые части одного или более коэффициентов.

[00114] В некоторых реализациях один или более коэффициентов включают, но без ограничения, коэффициенты предсказания, коэффициенты перекрестного предсказания (или прямые коэффициенты), вещественные (диагональные) коэффициенты декоррелятора и комплексные (недиагональные) коэффициенты декоррелятора.

[00115] В некоторых реализациях в разделе MDP сохраняется или из этого раздела битового потока IVAS считывается большее или меньшее количество коэффициентов.

[00116] В некоторых реализациях система IVAS сохраняет в разделе ЕР или считывает из этого раздела битового потока IVAS полезную нагрузку EVS для всех каналов согласно 3GPP TS 26.445.

[00117] Ниже изображен иллюстративный битовый поток IVAS с форматированием SPAR. Битовый поток IVAS содержит 4 следующих подраздела.

Общий заголовок (CH) Заголовок инструмента (TH) Полезная нагрузка метаданных (MDP) Полезная нагрузка EVS (EP)

Общий заголовок (CH):

[00118] В некоторых реализациях общий заголовок (СН) IVAS имеет следующий формат.

Количество битов Описание Значения 3 Это поле представляет собой указатель режима/инструмента кодирования, который задает режим кодирования / инструмент кодирования IVAS 2 – SPAR FoA
0, 1, 3, 4, 5, 6, 7 – иначе

Заголовок инструмента (TH):

[00119] В некоторых реализациях заголовок инструмента (ТН) SPAR представляет собой смещение индекса для таблицы управления распределением битрейта SPAR.

Количество битов Описание Значения x Индекс строки для таблицы распределения битрейта SPAR.
Длина этого поля является переменной.
x = ceil(log2(количество строк, соответствующих используемому битрейту IVAS))

[00120] Ниже показана иллюстративная реализация таблицы управления распределением битрейта SPAR. Каждый битрейт IVAS может поддерживать одно или более значений ширины полосы (BW), конфигурации понижающего микширования (dmx ch, dmx string), активного W, комплексного флага, значений режима перехода, набора битрейтов EVS, набора уровней квантования метаданных и флага приглушения декоррелятора. В этой иллюстративной реализации, поскольку для каждого битрейта имеется только одна запись, количество битов для раздела TH SPAR равно 0. Аббревиатуры, используемые в приведенной ниже таблице, определены следующим образом:

PR: Коэффициенты предсказания,

C: Коэффициенты перекрестного предсказания (или прямые коэффициенты),

P_r: Вещественные (диагональные) коэффициенты декоррелятора,

P_c: Комплексные (недиагональные) коэффициенты декоррелятора.

[00121] Иллюстративная таблица управления распределением битрейта SPAR имеет следующий вид.

Битрейт IVAS BW dmx ch dmx String Активный W Комплексный флаг Режим перехода dmx switch (заполни-тель) (Целевой, минимальный, максимальный)
BR EVS (бит/с) Уровни квантования метаданных
Целевой/ Запасной1/ Запасной2 При-глуше-ние декор-реля-тора 32000 3 1 WYXZ 1 0 0 W – 24000, 20450, 31950 PR = 21, 15, 15
P_r = 5, 5, 3
P_c = 1, 1, 1 0 64000 3 2 WYXZ 0 0 0 W – 38000, 34050, 56000;
Y' – 16000, 14850, 20400 PR = 15, 15, 15
C = 9, 7, 7
P_r = 9, 7, 7
P_c = 5, 3, 1 1 96000 3 3 WYXZ 0 0 0 W – 47000, 44000, 56000;
Y' – 23000, 20450, 31950;
X' – 16000, 14850, 20400 PR = 15, 15, 15
C = 9, 7, 7
P_r = 9, 7, 7 1 160000 3 3 WYXZ 0 0 0 W – 74000, 69000, 112000;
Y' – 41000, 40050, 56000;
X' – 35000, 34050, 56000 PR = 31, 31, 31
C = 9, 7, 7
P_r = 9, 7, 7 1 256000 3 4 WYXZ 0 0 0 W – 91900, 87000, 112000;
Y' – 68050, 68050, 112000;
X' – 52000, 48000, 56000;
Z' – 34050, 34050, 56000 PR = 31, 31, 31
PR = 63, 63, 63 1

Полезная нагрузка метаданных (MDP):

[00122] Иллюстративная полезная нагрузка метаданных (MDP) имеет следующий вид.

Количество битов Описание Значения x x битов для указания стратегии квантования (индекс стратегии квантования)
x = ceil(log2(номер стратегии квантования)) Все стратегии квантования даны для каждого битрейта, от тонкого до грубого или сверхгрубого квантования 3 3 бита для указания стратегии кодирования, используемой для кодирования квантованных метаданных. 0 – 12-полосные пространственные метаданные, недифференциальное энтропийное кодирование
1– 6-полосные пространственные метаданные, недифференциальное энтропийное кодирование
2 – 12-полосные пространственные метаданные, недифференциальное кодирование по основанию 2
3 – 6-полосные пространственные метаданные, недифференциальное кодирование по основанию 2
4 – 12-полосные пространственные метаданные, энтропийное кодирование по схеме 1 со временным дифференцированием
5 – 12-полосные пространственные метаданные, энтропийное кодирование по схеме 2 со временным дифференцированием
6 –12-полосные пространственные метаданные, энтропийное кодирование по схеме 3 со временным дифференцированием
7 – 12-полосные пространственные метаданные, энтропийное кодирование по схеме 4 со временным дифференцированием биты коэффициентов предсказания (PR) биты коэффициентов предсказания – переменная битовая длина на основе энтропийного кодирования биты коэффициентов С биты прямых коэффициентов – переменная битовая длина на основе конфигурации понижающего микширования и энтропийного кодирования биты коэффициентов P_r биты диагональных вещественных коэффициентов Р – переменная битовая длина на основе конфигурации понижающего микширования и энтропийного кодирования биты коэффициентов P_c биты комплексных коэффициентов Р нижнего треугольника – переменная битовая длина на основе конфигурации понижающего микширования и энтропийного кодирования

Полезная нагрузка EVS (EP):

[00123] В некоторых реализациях квантование метаданных и вычисление фактических битрейтов EVS для каждого канала понижающего микширования выполняются с использованием стратегии управления распределением битрейта EVS. Иллюстративная реализация стратегии управления распределением битрейта EVS описана ниже.

Иллюстративная стратегия управления распределением битрейта EVS

[00124] В некоторых реализациях стратегия управления распределением битрейта EVS включает два раздела: квантование метаданных и распределение битрейта EVS.

[00125] Квантование метаданных. В этом разделе имеется два заданных порога: целевой порог битрейта параметров (MDtar) и максимальный целевой порог битрейта (MDmax).

[00126] Этап 1: Для каждого кадра параметры квантуют способом без временного дифференцирования и кодируют с помощью энтропийного кодера. В некоторых реализациях используют арифметический кодер. В других реализациях используют кодер Хаффмана. Если оценка битрейта параметров находится ниже MDtar, любые дополнительные доступные биты подают в аудиокодер для увеличения битрейта основы аудиоданных.

[00127] Этап 2: Если этап 1 не достигает успеха, подмножество значений параметров в кадре квантуют и вычитают из квантованных значений параметров в предыдущем кадре, и значение разности квантованных параметров кодируют с помощью энтропийного кодера. Если оценка битрейта параметров ниже MDtar, любые дополнительные доступные биты подают в аудиокодер для увеличения битрейта основы аудиоданных.

[00128] Этап 3: Если этап 2 не достигает успеха, то битрейт квантованных параметров вычисляют без энтропии.

[00129] Этап 4: Результаты этапа 1, этапа 2 и этапа 3 сравнивают с MDmax. Если минимальное значение из этапа 1, этапа 2 и этапа 3 находится в пределах MDmax, остающиеся биты кодируют и предоставляют в аудиокодер.

[00130] Этап 5: Если этап 4 не достигает успеха, то параметры квантуют более грубо и вышеописанные этапы повторяют в качестве первой запасной стратегии (Запасная1).

[00131] Этап 6: Если этап 5 не достигает успеха, то параметры квантуют с помощью схемы квантования, для которой гарантировано попадание в пределы MDmax, в качестве второй запасной стратегии (Запасная2). После выполнения всех вышеупомянутых итераций гарантируется, что битрейт попадет в пределы MDmax, а кодер будет генерировать фактические биты метаданных, или Metadata_actual_bits (MDact).

[00132] Распределение битрейта EVS (EVSbd). Для этого раздела применяют следующие определения.

EVStar: целевые биты EVS, требуемые биты для каждого экземпляра EVS.

EVSact: фактические биты EVS, сумма фактических битов, доступных для всех экземпляров EVS.

EVSmin: минимум битов EVS, минимум битов для каждого экземпляра EVS. Битрейт EVS никогда не должен становиться меньше значений, указанных этими битами.

EVSmax: максимум битов EVS, максимум битов для каждого экземпляра EVS. Битрейт EVS никогда не должен становиться больше значений, указанных этими битами.

EVS W: экземпляр EVS для кодирования канала W.

EVS Y: экземпляр EVS для кодирования канала Y.

EVS X: экземпляр EVS для кодирования канала X.

EVS Z: экземпляр EVS для кодирования канала Z.

EVSact = IVAS_bits – header_bits – MDact

[00133] Если EVSact меньше суммы EVStar для всех экземпляров EVS, то биты берут из экземпляров EVS в следующем порядке: (Z, X, Y, W). Максимум битов, который можно взять из любого канала = EVStar(ch) - EVSmin(ch).

[00134] Если EVSact больше суммы EVStar для всех экземпляров EVS, то все дополнительные биты распределяют в каналы понижающего микширования в следующем порядке: (W, Y, X, Z). Максимум дополнительных битов, который можно добавить в любой канал = EVSmax(ch) - EVStar(ch).

[00135] Вышеописанная схема EVSbd вычисляет фактические битрейты EVS для всех каналов: EWa, EYa, EXa, EZa для каналов W, Y, X и Z соответственно. После кодирования каждого канала с помощью отдельных экземпляров EVS с битрейтами EWa, EYa, EXa и EZa все биты EVS подвергают конкатинации и упаковывают вместе. Преимуществом этой конфигурации является то, что для указания битрейта EVS для любого канала не требуется дополнительный заголовок.

[00136] В некоторых реализациях раздел ЕР является следующим.

Количество битов Описание Значения EWa кодированные биты EVS для канала W согласно 3GPP TS 26.445 EYa кодированные биты EVS для канала Y' согласно 3GPP TS 26.445 EXa кодированные биты EVS для канала X' согласно 3GPP TS 26.445 EZa кодированные биты EVS для канала Z' согласно 3GPP TS 26.445

Иллюстративная распаковка битового потока декодера SPAR

[00137] В некоторых реализациях этапы распаковки битового потока декодера SPAR описаны следующим образом:

[00138] Этап 1: определить битрейт IVAS по длине принятого битового буфера.

[00139] Этап 2: выполнить синтаксический анализ раздела TH SPAR на основе количества записей для битрейта SPAR в таблице управления распределением битрейта SPAR с целью извлечения смещения индекса, при этом смещение индекса определяется рабочим битрейтом IVAS.

[00140] Этап 3: определить фактический индекс строки таблицы для таблицы управления распределением битрейта SPAR с использованием смещения индекса и считать все столбцы таблицы управления распределением битрейта SPAR, на которые указывает фактический индекс строки таблицы.

[00141] Этап 4: считать биты стратегии квантования и стратегии кодирования из раздела MDP битового потока IVAS и расквантовать пространственные метаданные SPAR в разделе MDP на основе указанной стратегии квантования и стратегии кодирования.

[00142] Этап 5: На основе общего битрейта EVS (остающиеся биты, подлежащие считыванию из битового потока IVAS) определить фактический битрейт EVS для каждого канала согласно вышеописанному распределению битрейта EVS (EVSbd).

[00143] Этап 6: считать закодированные биты EVS из раздела ЕР битового потока IVAS на основе фактической битрейта EVS и декодировать каждый канал звукового сигнала FoA с помощью соответствующего экземпляра EVS.

[00144] Этап 7: использовать декодированные выходные данные EVS и пространственные метаданные для построения звукового сигнала FoA (SPAR).

[00145] Преимуществом вышеописанного варианта осуществления формата битового потока IVAS является то, что он эффективно и компактно кодирует данные, которые поддерживают ряд функциональных возможностей звуковых служб, включая, но без ограничения, повышающее микширование монофонического сигнала в стереофонический сигнал и кодирование, декодирование и рендеринг звука с полным эффектом присутствия (например, кодирование FoA). Он также поддерживается широким рядом устройств, оконечных устройств и узлов сети, включая, но без ограничения, мобильные телефоны и смартфоны, электронные планшеты, персональные компьютеры, конференц-телефоны, помещения для переговоров, устройства виртуальной реальности (VR) и дополненной реальности (AR), устройства домашнего кинотеатра и другие подходящие устройства, каждое из которых может иметь различные акустические интерфейсы для записи и рендеринга звука. Формат битового потока IVAS имеет возможность расширения, и поэтому его можно легко развивать вместе со стандартом и технологией IVAS.

Иллюстративные способы – битовые потоки IVAS в формате CACPL

[00146] На фиг. 4A представлена блок-схема способа 400 кодирования IVAS согласно одному варианту осуществления. Способ 400 может быть реализован с использованием архитектуры устройства, описанной со ссылкой на фиг. 8.

[00147] Способ 400 включает определение указателя инструмента кодирования и указателя частоты дискретизации и кодирование, с использованием кодера IVAS, указателя инструмента кодирования и указателя частоты дискретизации в разделе общего заголовка (СН) битового потока IVAS (401). В некоторых реализациях указатель инструмента имеет значения, соответствующие инструментам кодирования, а указатель частоты дискретизации имеет значения, указывающие частоту дискретизации.

[00148] Способ 400 дополнительно включает определение полезной нагрузки голосовых служб с расширенными возможностями (EVS) и кодирование, с использованием кодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) в разделе полезной нагрузки EVS (ЕР) битового потока IVAS (402). В некоторых реализациях раздел ЕР следует за разделом CH.

[00149] Способ 400 дополнительно включает определение полезной нагрузки метаданных и кодирование, с использованием кодера IVAS, полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS (403). В некоторых реализациях раздел MDP следует за разделом СН. В некоторых реализациях раздел ЕР следует за разделом MDP битового потока.

[00150] Способ 400 дополнительно включает сохранение битового потока IVAS на постоянном машиночитаемом носителе или потоковую передачу битового потока IVAS в находящееся далее по ходу потока устройство (404).

[00151] На фиг. 4B представлена блок-схема способа 405 кодирования IVAS с использованием альтернативного формата IVAS согласно одному варианту осуществления. Способ 405 может включать архитектуру устройства, описанную со ссылкой на фиг. 8.

[00152] Способ 405 включает определение указателя инструмента кодирования и кодирование, с использованием кодера IVAS, указателя инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS (406). В некоторых реализациях указатель инструмента имеет значения, соответствующие инструментам кодирования.

[00153] Способ 405 дополнительно включает кодирование, с использованием кодера IVAS, представления таблицы управления распределением битрейта IVAS в разделе общего заголовка инструмента пространственного кодирования (СТН) битового потока IVAS (407).

[00154] Способ 405 дополнительно включает определение полезной нагрузки метаданных и кодирование, с использованием кодера IVAS, полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS (408). В некоторых реализациях раздел MDP следует за разделом CH битового потока IVAS.

[00155] Способ 405 дополнительно включает определение полезной нагрузки голосовых служб с расширенными возможностями (EVS) и кодирование, с использованием кодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) в разделе полезной нагрузки EVS (ЕР) битового потока IVAS (409). В некоторых реализациях раздел EP следует за разделом CH битового потока IVAS. В некоторых реализациях раздел MDP следует за разделом EP битового потока IVAS.

[00156] Способ 405 дополнительно включает сохранение битового потока IVAS на устройстве хранения данных или потоковую передачу битового потока IVAS в находящееся далее по ходу потока устройство (410).

[00157] На фиг. 5A представлена блок-схема способа 500 декодирования IVAS согласно одному варианту осуществления. Способ 500 может быть реализован с использованием архитектуры устройства, описанной со ссылкой на фиг. 8.

[00158] Способ 500 включает извлечение и декодирование, с использованием декодера IVAS, указателя инструмента кодирования и указателя частоты дискретизации из раздела общего заголовка (СН) битового потока IVAS (501). В некоторых реализациях указатель инструмента имеет значения, соответствующие инструментам кодирования, а указатель частоты дискретизации имеет значения, указывающие частоту дискретизации.

[00159] Способ 500 дополнительно включает извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) из раздела полезной нагрузки EVS (ЕР) битового потока IVAS (502). В некоторых реализациях раздел EP следует за разделом CH битового потока IVAS.

[00160] Способ 500 дополнительно включает извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки метаданных из раздела полезной нагрузки метаданных (MDP) битового потока IVAS (503). В некоторых реализациях раздел MDP следует за разделом CH битового потока IVAS. В некоторых реализациях раздел EP следует за разделом MDP битового потока IVAS.

[00161] Способ 500 дополнительно включает управление аудиодекодером на основе инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных или сохранение представления инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе (504).

[00162] На фиг. 5B представлена блок-схема способа 505 декодирования IVAS с использованием альтернативного формата согласно одному варианту осуществления. Способ 505 может быть реализован с использованием архитектуры устройства, описанной со ссылкой на фиг. 8.

[00163] Способ 505 включает извлечение и декодирование, с использованием декодера IVAS, указателя инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS (506). В некоторых реализациях указатель инструмента имеет значения, соответствующие инструментам кодирования.

[00164] Способ 505 дополнительно включает извлечение и декодирование, с использованием декодера IVAS, представления таблицы управления распределением битрейта IVAS в разделе общего заголовка инструмента пространственного кодирования (СТН) битового потока IVAS (507).

[00165] Способ 505 дополнительно включает декодирование, с использованием декодера IVAS, полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS (508). В некоторых реализациях раздел MDP следует за разделом CH битового потока IVAS.

[00166] Способ 505 дополнительно включает декодирование, с использованием декодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) в разделе полезной нагрузки EVS (ЕР) битового потока IVAS (509). В некоторых реализациях раздел EP следует за разделом CH битового потока IVAS. В некоторых реализациях раздел MDP следует за разделом EP битового потока IVAS.

[00167] Способ 505 дополнительно включает управление аудиодекодером на основе указателя инструмента кодирования, представления таблицы управления распределением битрейта IVAS, полезной нагрузки метаданных и полезной нагрузки EVS или сохранение представления указателя инструмента кодирования, представления таблицы управления распределением битрейта IVAS, полезной нагрузки метаданных и полезной нагрузки EVS на устройстве хранения данных (510).

Иллюстративные способы – битовые потоки IVAS в формате SPAR

[00168] На фиг. 6 представлена блок-схема способа 600 кодирования IVAS SPAR согласно одному варианту осуществления. Способ 600 может быть реализован с использованием архитектуры устройства, описанной со ссылкой на фиг. 8.

[00169] Способ 600 включает декодирование указателя режима кодирования / инструмента кодирования и кодирование, с использованием кодера IVAS, указателя режима кодирования / инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS (601).

[00170] Способ 600 дополнительно включает определение и кодирование, с использованием кодера IVAS, представления таблицы управления распределением битрейта SPAR в заголовке режима / заголовке инструмента в разделе заголовка инструмента (ТН) битового потока IVAS (602), при этом раздел ТН следует за разделом СН.

[00171] Способ 600 дополнительно включает определение полезной нагрузки метаданных и кодирование, с использованием кодера IVAS, полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS (603). В некоторых реализациях раздел MDP следует за разделом CH битового потока IVAS.

[00172] В некоторых реализациях раздел MDP включает: указатель стратегии квантования; указатель стратегии кодирования; и квантованные и закодированные вещественные и мнимые части одного или более коэффициентов. В некоторых реализациях один или более коэффициентов включают, но без ограничения, коэффициенты предсказания, коэффициенты перекрестного предсказания (или прямые коэффициенты), вещественные (диагональные) коэффициенты декоррелятора и комплексные (недиагональные) коэффициенты декоррелятора. В некоторых реализациях в разделе MDP сохраняется или из этого раздела битового потока IVAS считывается большее или меньшее количество коэффициентов.

[00173] Способ 600 дополнительно включает определение полезной нагрузки голосовых служб с расширенными возможностями (EVS) и кодирование, с использованием кодера IVAS, полезной нагрузки EVS в разделе полезной нагрузки EVS (ЕР) битового потока IVAS (604). В некоторых реализациях раздел ЕР битового потока IVAS содержит полезную нагрузку EVS для всех каналов согласно 3GPP TS 26.445. В некоторых реализациях раздел EP следует за разделом CH битового потока IVAS. В некоторых реализациях раздел ЕР следует за разделом MDP. Следует отметить, что следование раздела ЕР за разделом MDP в битовом потоке IVAS обеспечивает эффективную упаковку битов и позволяет менять количество битов MDP и битов ЕР (в зависимости от алгоритма распределения битрейта), а также обеспечивает использование всех доступных битов в бюджете битрейта IVAS.

[00174] Способ 600 дополнительно включает сохранение битового потока на постоянном машиночитаемом носителе или потоковую передачу битового потока в находящееся далее по ходу потока устройство (605).

[00175] На фиг. 7 представлена блок-схема способа 700 декодирования IVAS SPAR согласно одному варианту осуществления. Способ 700 может быть реализован с использованием архитектуры устройства, описанной со ссылкой на фиг. 8.

[00176] Способ 700 включает извлечение и декодирование, с использованием декодера IVAS, указателя режима кодирования в разделе общего заголовка (СН) битового потока IVAS (701).

[00177] Способ 700 включает извлечение и декодирование, с использованием декодера IVAS, представления таблицы управления распределением битрейта SPAR в заголовке режима / заголовке инструмента в разделе заголовка инструмента (ТН) битового потока IVAS (702). В некоторых реализациях раздел TH следует за разделом СН.

[00178] Способ 700 дополнительно включает извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки метаданных из раздела полезной нагрузки метаданных (MDP) битового потока IVAS (703). В некоторых реализациях раздел MDP следует за разделом CH битового потока IVAS.

[00179] Способ 700 дополнительно включает извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки голосовых служб с расширенными возможностями (EVS) из раздела полезной нагрузки EVS (ЕР) битового потока IVAS (704). В некоторых реализациях раздел ЕР следует за разделом CH. В некоторых реализациях раздел ЕР следует за разделом MDP. Следует отметить, что следование раздела ЕР за разделом MDP в битовом потоке IVAS обеспечивает эффективную упаковку битов и позволяет менять количество битов MDP и битов ЕР (в зависимости от алгоритма распределения битрейта), а также обеспечивает использование всех доступных битов в бюджете битрейта IVAS.

[00180] Способ 700 дополнительно включает управление аудиодекодером на основе указателя режима кодирования, представления таблицы управления распределением битрейта SPAR, полезной нагрузки EVS и полезной нагрузки метаданных или сохранение представления указателя режима кодирования, представления таблицы управления распределением битрейта SPAR, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе (705).

Иллюстративная архитектура системы

[00181] На фиг. 8 показана структурная схема иллюстративной системы 800, подходящей для реализации иллюстративных вариантов осуществления настоящего изобретения. Система 800 содержит один или более серверных компьютеров или любое клиентское устройство, включая, но без ограничения, любое из устройств, показанных на фиг. 1, такое как сервер 102 обработки вызовов, устаревшие устройства 106, пользовательское оборудование 108, 114, системы 116, 118 помещений для переговоров, системы домашних кинотеатров, приспособления 122 VR и получающие содержимое устройства 124 с эффектом присутствия. Система 800 включает любые потребительские устройства, включая, но без ограничения, смартфоны, планшетные компьютеры, носимые компьютеры, компьютеры транспортных средств, игровые приставки, системы объемного звука, киоски,

[00182] Как показано, система 800 содержит центральное процессорное устройство (ЦПУ) 801, которое может осуществлять различные способы в соответствии с программой, сохраненной, например, в постоянном запоминающем устройстве (ПЗУ) 802, или программой, загруженной из, например, блока 808 памяти в оперативное запоминающее устройство (ОЗУ) 803. Если требуется, в ОЗУ 803 также хранятся данные, необходимые при выполнении ЦПУ 801 различных способов. ЦПУ 801, ПЗУ 802 и ОЗУ 803 соединены друг с другом посредством шины 804. Интерфейс 805 ввода/вывода (I/O) также соединен с шиной 804.

[00183] Следующие компоненты соединены с интерфейсом 805 I/O: блок 806 ввода, который может содержать клавиатуру, мышь или т. п.; блок 807 вывода, который может содержать дисплей, такой как жидкокристаллический дисплей (LCD), и один или более динамиков; блок 808 памяти, содержащий жесткий диск или другое подходящее устройство хранения; и блок 809 связи, содержащий сетевую интерфейсную карту, такую как сетевая карта (например, проводная или беспроводная).

[00184] В некоторых реализациях блок 806 ввода содержит один или более микрофонов в разных положениях (в зависимости от хост-устройства), обеспечивающих запись звуковых сигналов в различных форматах (например, монофоническом, стереофоническом, пространственном, с эффектом присутствия и других подходящих форматах).

[00185] В некоторых реализациях блок 807 вывода содержит системы с различным количеством динамиков. Как проиллюстрировано на фиг. 1, блок 807 вывода (в зависимости от функциональных возможностей хост-устройства) может осуществлять рендеринг звуковых сигналов в различных форматах (например, монофоническом, стереофоническом, с эффектом присутствия, бинауральном и других подходящих форматах).

[00186] Блок 809 связи выполнен с возможностью осуществления связи с другими устройствами (например, посредством сети). Накопитель 810 также соединен с интерфейсом 805 I/O, если это необходимо. Сменный носитель 811, такой как магнитный диск, оптический диск, магнитооптический диск, флеш-накопитель или другой подходящий сменный носитель установлен в накопителе 810 так, что компьютерную программу, считанную с него, устанавливают в блок 808 памяти, если это необходимо. Для специалиста в данной области техники будет понятно, что хотя система 800 описана как содержащая вышеописанные компоненты, в реальных применениях возможно добавить, удалить и/или заменить некоторые из этих компонентов, и все эти модификации или изменения попадают в объем настоящего изобретения.

Другие реализации

[00187] В одном варианте осуществления способ генерирования битового потока для звукового сигнала включает: определение с использованием кодера IVAS указателя инструмента кодирования или указателя частоты дискретизации, при этом указатель инструмента кодирования имеет значения, соответствующие инструментам кодирования, а указатель частоты дискретизации имеет значения, указывающие частоту дискретизации; кодирование с использованием кодера IVAS указателя инструмента кодирования и указателя частоты дискретизации в разделе общего заголовка (CH) битового потока IVAS; определение с использованием кодера IVAS полезной нагрузки голосовых служб с расширенными возможностями (EVS); кодирование с использованием кодера IVAS полезной нагрузки EVS в разделе полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СН; определение с использованием кодера IVAS полезной нагрузки метаданных; кодирование с использованием кодера IVAS полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом СН; и сохранение битового потока IVAS на постоянном машиночитаемом носителе или потоковую передачу битового потока IVAS в находящееся далее по ходу потока устройство.

[00188] В одном варианте осуществления способ декодирования битового потока звукового сигнала включает: извлечение и декодирование, с использованием декодера IVAS, указателя инструмента кодирования и указателя частоты дискретизации из раздела СН битового потока IVAS, при этом указатель инструмента имеет значения, соответствующие инструментам кодирования, указатель частоты дискретизации имеет значения, указывающие частоту дискретизации; извлечение и декодирование, с использованием декодера IVAS, полезной нагрузки EVS из раздела ЕР битового потока, при этом раздел ЕР следует за разделом СН; декодирование с использованием декодера IVAS полезной нагрузки метаданных из раздела MDP битового потока, при этом раздел MDP следует за разделом СН; и управление аудиодекодером на основе инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных или сохранение представления инструмента кодирования, частоты дискретизации, полезной нагрузки EVS и полезной нагрузки метаданных на постоянном машиночитаемом носителе.

[00189] В одном варианте осуществления раздел MDP следует за разделом EP битового потока или раздел EP следует за разделом MDP битового потока.

[00190] В одном варианте осуществления указатель инструмента кодирования IVAS представляет собой структуру данных из трех битов, при этом первое значение структуры данных из трех битов соответствует инструменту кодирования множества монофонических сигналов, второе значение структуры данных из трех битов соответствует инструменту кодирования комплексной расширенной связи (CACPL), а третье значение структуры данных из трех битов соответствует другому инструменту кодирования.

[00191] В одном варианте осуществления указатель входной частоты дискретизации представляет собой структуру данных из двух битов, при этом первое значение структуры данных из двух битов указывает частоту дискретизации 8 кГц, второе значение структуры данных из двух битов указывает частоту дискретизации 16 кГц, третье значение структуры данных из двух битов указывает частоту дискретизации 32 кГц, а четвертое значение структуры данных из двух битов указывает частоту дискретизации 48 кГц.

[00192] В одном варианте осуществления предыдущие способы соответственно включают сохранение в разделе ЕР или считывание из этого раздела битового потока следующего: указателя количества каналов EVS, указателя режима извлечения битрейта (BR), данных BR EVS и полезной нагрузки EVS.

[00193] В одном варианте осуществления предыдущие способы соответственно включают сохранение в разделе MDP или считывание из этого раздела потока данных следующего: указателя методики кодирования; указателя количества полос; указателя, указывающего конфигурацию задержи банка фильтров; указателя стратегии квантования; указателя энтропийного кодера; указателя типа вероятностной модели; вещественной части коэффициентов; мнимой части коэффициентов; и одного или более коэффициентов.

[00194] В одном варианте осуществления способ генерирования битового потока для звукового сигнала включает: определение с использованием кодера IVAS указателя инструмента кодирования, при этом указатель инструмента кодирования имеет значения, соответствующие инструментам кодирования; кодирование с использованием кодера IVAS указателя инструмента кодирования в разделе общего заголовка (CH) битового потока IVAS; определение с использованием кодера IVAS представления индекса таблицы управления распределением битрейта IVAS; кодирование с использованием кодера IVAS представления индекса таблицы управления распределением битрейта IVAS в разделе общего заголовка инструмента пространственного кодирования (СТН) битового потока IVAS, при этом раздел СТН следует за разделом СН; определение с использованием кодера IVAS полезной нагрузки метаданных; кодирование с использованием кодера IVAS полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом СТН; определение с использованием кодера IVAS полезной нагрузки голосовых служб с расширенными возможностями (EVS); кодирование с использованием кодера IVAS полезной нагрузки EVS в разделе полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СТН; и сохранение битового потока на постоянном машиночитаемом носителе или потоковую передачу битового потока в находящееся далее по ходу потока устройство.

[00195] В одном варианте осуществления способ декодирования битового потока звукового сигнала включает: прием декодером IVAS битового потока; вычисление рабочего битрейта IVAS на основе длины битового потока и шага; считывание указателя инструмента пространственного кодирования из раздела общего заголовка (СН) битового потока; определение длины раздела общего заголовка инструмента пространственного кодирования (СТН) битового потока на основе рабочего битрейта IVAS, при этом определение включает проверку количества записей, соответствующих рабочему битрейту IVAS, в таблице управления распределением битрейта IVAS в разделе СТН; считывание значений в разделе СТН при определении длины раздела СТН для определения индекса таблицы управления распределением битрейта IVAS; считывание информации о распределении битрейта голосовых служб с расширенными возможностями (EVS) из записи таблицы управления распределением битрейта IVAS, соответствующей индексу таблицы управления распределением битрейта IVAS; и предоставление информации о распределении битрейта EVS в декодер EVS.

[00196] В одном варианте осуществления любой из предыдущих способов включает считывание указателя для обратной совместимости монофонического сигнала понижающего микширования с 3GPP TS 26.445 из записи таблицы управления распределением битрейта IVAS.

[00197] В одном варианте осуществления предыдущий способ включает: определение того, что указатель обратной совместимости монофонического сигнала понижающего микширования находится в режиме ВКЛЮЧЕН; и, в ответ на режим ВКЛЮЧЕН, предоставление остающихся частей битового потока в декодер EVS; затем вычисление соответствующей битовой длины для каждого экземпляра EVS из остающейся части битового потока на основе распределения битрейта EVS; считывание битов EVS для каждого экземпляра EVS на основе соответствующей битовой длины; и предоставление битов EVS в декодер EVS в качестве первой части; предоставление остающихся частей битового потока в декодер MDP для декодирования пространственных метаданных.

[00198] В одном варианте осуществления предыдущий способ включает: определение того, что указатель обратной совместимости монофонического сигнала понижающего микширования находится в режиме ВЫКЛЮЧЕН; и, в ответ на режим ВЫКЛЮЧЕН, предоставление остающихся частей битового потока в декодер MDP для декодирования пространственных метаданных; затем вычисление соответствующей битовой длины для каждого экземпляра EVS из остающейся части битового потока на основе распределения битрейта EVS; считывание битов EVS для каждого экземпляра EVS на основе соответствующей битовой длины; и предоставление битов EVS в декодер EVS в качестве первой части.

[00199] В одном варианте осуществления система содержит: один или более компьютерных процессоров; и постоянный машиночитаемый носитель, на котором сохранены команды, которые при исполнении одним или более процессорами вызывают выполнение одним или более процессорами операций согласно любому из предыдущих заявленных способов.

[00200] В одном варианте осуществления на постоянном машиночитаемом носителе сохранены команды, которые при исполнении одним или более компьютерными процессорами вызывают выполнение одним или более процессорами операций согласно любому из предыдущих заявленных способов.

[00201] В соответствии с иллюстративными вариантами осуществления настоящего изобретения процессы, описанные выше, могут быть реализованы как программы компьютерного программного обеспечения или на машиночитаемом носителе. Например, варианты осуществления настоящего изобретения содержат компьютерный программный продукт, содержащий компьютерную программу, материально воплощенную на машиночитаемом носителе, при этом компьютерная программа содержит программный код для выполнения способов. В таких вариантах осуществления компьютерная программа может быть загружена и установлена из сети посредством блока 809 связи и/или инсталлирована со сменного носителя 811, которые показаны на фиг. 8.

[00202] В целом различные иллюстративные варианты осуществления настоящего изобретения могут быть реализованы в аппаратном обеспечении или схемах специального назначения (например, схеме управления), программном обеспечении, логической схеме или любом их сочетании. Например, вышеописанные блоки могут быть исполнены схемой управления (например, ЦПУ в сочетании с другими компонентами, показанными на фиг. 8), таким образом, схема управления может осуществлять действия, описанные в этом описании. Некоторые аспекты могут быть реализованы в аппаратном обеспечении, тогда как другие аспекты могут быть реализованы в аппаратно-программном обеспечении или программном обеспечении, которые могут быть исполнены контроллером, микропроцессором или другим вычислительным устройством (например, схемой управления). Хотя различные аспекты иллюстративных вариантов осуществления настоящего изобретения проиллюстрированы и описаны как структурные схемы, блок-схемы или с использованием некоторого другого графического представления, будет понятно, что блоки, аппараты, системы, методы или способы, описанные в настоящем документе, могут быть реализованы, в качестве неограничительных примеров, в аппаратном обеспечении, программном обеспечении, аппаратно-программном обеспечении, схемах специального назначения или логических схемах, в аппаратном обеспечении, контроллере или других вычислительных устройствах общего назначения, или в некотором их сочетании.

[00203] Дополнительно различные блоки, показанные на блок-схемах, можно рассматривать как этапы способа и/или как операции, которые являются результатом работы компьютерного программного кода, и/или как множество элементов связанной логической схемы, созданных для осуществления связанной функции (-ий). Например, варианты осуществления настоящего изобретения содержат компьютерный программный продукт, содержащий компьютерную программу, материально воплощенную на машиночитаемом носителе, при этом компьютерная программа содержит программные коды, сконфигурированные для осуществления способов, которые описаны выше.

[00204] В контексте настоящего изобретения машиночитаемый носитель может быть любым материальным носителем, который может содержать или хранить программу для использования системой, аппаратом или устройством для исполнения команд или в сочетании с ними. Машиночитаемый носитель может быть машиночитаемым носителем сигналов или машиночитаемым носителем данных. Машиночитаемый носитель может быть постоянным и может содержать, но без ограничения, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат или устройство или любое подходящее сочетание указанного выше. Более конкретные примеры машиночитаемого носителя данных будут включать электрическое соединение посредством одного или более проводов, портативный компьютерный гибкий диск, жесткий диск, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ, или флеш-память), оптическое волокно, постоянное запоминающее устройством на портативном компактном диске (CD-ROM), оптическое запоминающее устройство, магнитное запоминающее устройство или любое подходящее сочетание указанного выше.

[00205] Компьютерный программный код для осуществления способов настоящего изобретения может быть написан на одном или более языках программирования в любом их сочетании. Эти компьютерные программные коды могут быть предоставлены на процессор компьютера общего назначения, компьютера специального назначения или другого программируемого аппарата обработки данных, который имеет схему управления, так, что программные коды при исполнении процессором компьютера или другого программируемого аппарата обработки данных обеспечивают реализацию функций/операций, заданных в блок-схемах и/или структурных схемах. Программный код может быть исполнен полностью на компьютере, частично на компьютере в качестве автономного пакета программного обеспечения, частично на компьютере и частично на удаленном компьютере, или полностью на удаленном компьютере или сервере, или распределен между одним или более удаленными компьютерами и/или серверами.

[00206] Хотя этот документ содержит множество специфических подробностей реализации, их не следует истолковывать как ограничения в отношении объема того, что может быть заявлено, но скорее как описания признаков, которые могут являться специфическими для конкретных вариантов осуществления. Определенные признаки, описанные в данном описании в контексте отдельных вариантов осуществления изобретения, также могут быть реализованы в комбинации в едином варианте осуществления. И наоборот, различные признаки, которые описаны в контексте единого варианта осуществления, также могут быть реализованы в нескольких вариантах осуществления по отдельности или в любой подходящей подкомбинации. Кроме того, хотя признаки могут быть описаны выше как действующие в определенных подкомбинациях и даже изначально заявлены как таковые, один или более признаков из заявленной комбинации в некоторых случаях могут быть исключены из комбинации, а заявленная комбинация может быть направлена на подкомбинацию или изменение подкомбинации. Логические последовательности, изображенные на фигурах, не требуют конкретного показанного порядка, или последовательного порядка, для достижения требуемых результатов. Дополнительно могут быть предусмотрены другие этапы, или этапы могут быть исключены из описанных последовательностей, а другие компоненты могут быть добавлены в описанные системы или исключены из них. Соответственно, другие реализации находятся в пределах объема следующей формулы изобретения.

Настоящее изобретение относится к кодированию и декодированию битовых потоков звуковых данных. Кодирование/декодирование битового потока голосовых и звуковых служб с эффектом присутствия (IVAS) включает кодирование/декодирование указателя режима кодирования в разделе общего заголовка (СН) битового потока IVAS, кодирование/декодирование заголовка режима или заголовка инструмента в разделе заголовка инструмента (ТН) битового потока, при этом раздел ТН следует за разделом СН, кодирование/декодирование полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока, при этом раздел MDP следует за разделом СН, кодирование/декодирование полезной нагрузки голосовых служб с расширенными возможностями (EVS) в разделе полезной нагрузки EVS (ЕР) битового потока, при этом раздел ЕР следует за разделом СН, и на стороне кодера – сохранение или потоковую передачу закодированного битового потока, а на стороне декодера – управление аудиодекодером на основе режима кодирования, заголовка инструмента, полезной нагрузки EVS и полезной нагрузки метаданных или сохранение их представления. Технический результат заключается в обеспечении надежного формата битового потока, поддерживающего ряд функциональных возможностей звуковых служб, повышающих микширование монофонического сигнала в стереофонический сигнал. 3 н. и 12 з.п. ф-лы, 10 ил.

1. Способ генерирования битового потока для звукового сигнала, включающий:

определение, с использованием кодера голосовых и звуковых служб с эффектом присутствия (IVAS), указателя режима кодирования или указателя инструмента кодирования, причем указатель режима кодирования или указатель инструмента кодирования указывает режим кодирования или инструмент кодирования для звукового сигнала;

кодирование с использованием кодера IVAS указателя режима кодирования или указателя инструмента кодирования в разделе общего заголовка (СН) битового потока IVAS;

определение с использованием кодера IVAS заголовка режима или заголовка инструмента;

кодирование с использованием кодера IVAS заголовка режима или инструмента в разделе заголовка инструмента (TH) битового потока IVAS, при этом раздел ТН следует за разделом СН;

определение с использованием кодера IVAS полезной нагрузки метаданных, содержащей пространственные метаданные;

кодирование с использованием кодера IVAS полезной нагрузки метаданных в разделе полезной нагрузки метаданных (MDP) битового потока IVAS, при этом раздел MDP следует за разделом CH; и

определение с использованием кодера IVAS полезной нагрузки голосовых служб с расширенными возможностями (EVS), при этом полезная нагрузка EVS содержит закодированные биты EVS для каждого канала или канала понижающего микширования звукового сигнала; и

кодирование с использованием кодера IVAS полезной нагрузки EVS в разделе полезной нагрузки EVS (ЕР) битового потока IVAS, при этом раздел ЕР следует за разделом СН.

2. Способ по п. 1, отличающийся тем, что дополнительно включает:

сохранение битового потока IVAS на постоянном машиночитаемом носителе или потоковую передачу битового потока IVAS в находящееся далее по ходу потока устройство, при этом указатель режима кодирования или инструмента кодирования, заголовок режима или заголовок инструмента, полезную нагрузку метаданных и полезную нагрузку EVS извлекают и декодируют из разделов CH, TH, MDP и EP битового потока IVAS, соответственно, для применения при реконструкции звукового сигнала на находящемся далее по ходу потока устройстве или другом устройстве.

3. Способ по п. 1 или 2, отличающийся тем, что СН представляет собой многобитовую структуру данных, в которой одно значение многобитовой структуры данных соответствует режиму кодирования пространственной реконструкции (SPAR), а другие значения структуры данных соответствуют другим режимам кодирования.

4. Способ по любому из пп. 1-3, отличающийся тем, что включает соответственно сохранение в разделе ТН или считывание из этого раздела битового потока IVAS смещения индекса для вычисления индекса строки таблицы управления распределением битрейта пространственной реконструкции (SPAR).

5. Способ по любому из пп. 1-4, отличающийся тем, что включает соответственно сохранение в разделе MDP или считывание из этого раздела битового потока IVAS:

указателя стратегии квантования;

указателя стратегии кодирования битового потока; и

квантованных и закодированных вещественных и мнимых частей набора коэффициентов.

6. Способ по любому из пп. 1-5, отличающийся тем, что раздел ЕР следует за разделом MDP для обеспечения эффективной упаковки битов, а количество битов в разделе MDP битового потока IVAS и количество битов в разделе ЕР битового потока IVAS изменяется в соответствии с таблицей управления распределением битрейта SPAR и алгоритмом распределения битрейта с целью обеспечения использования всех доступных битов в бюджете битрейта IVAS.

7. Способ по любому из пп. 1-6, отличающийся тем, что битрейт для каждого закодированного канала EVS или канала понижающего микширования EVS определяют с использованием общего количества доступных битов для EVS, таблицы управления распределением битрейта и алгоритма распределения битрейта.

8. Способ по п. 5, отличающийся тем, что набор коэффициентов содержит коэффициенты предсказания, прямые коэффициенты, диагональные вещественные коэффициенты и комплексные коэффициенты нижнего треугольника.

9. Способ по п. 8, отличающийся тем, что коэффициенты предсказания характеризуются переменной битовой длиной на основе энтропийного кодирования, а прямые коэффициенты, диагональные вещественные коэффициенты и комплексные коэффициенты нижнего треугольника характеризуются переменной битовой длиной на основе конфигурации понижающего микширования и энтропийного кодирования.

10. Способ по п. 5, отличающийся тем, что указатель стратегии квантования представляет собой многобитовую структуру данных, которая указывает стратегию квантования.

11. Способ по п. 5, отличающийся тем, что указатель стратегии кодирования битового потока представляет собой многобитовую структуру данных, которая указывает количество полос пространственных метаданных и схему недифференциального или временного дифференциального энтропийного кодирования.

12. Способ по п. 5, отличающийся тем, что квантование коэффициентов осуществляют в соответствии со стратегией управления распределением битрейта EVS, которая включает квантование метаданных и распределение битрейта EVS.

13. Способ по любому из пп. 1-12, отличающийся тем, что включает соответственно сохранение в разделе ЕР или считывание из этого раздела битового потока полезной нагрузки EVS для экземпляров EVS согласно технической спецификации (TS) 26.445 Проекта партнерства 3-го поколения (3GPP).

14. Система для генерирования битового потока, содержащая:

один или более процессоров; и

постоянный машиночитаемый носитель, на котором сохранены команды, которые при исполнении одним или более процессорами вызывают выполнение одним или более процессорами операций способов по любому из пп. 1-13.

15. Постоянный машиночитаемый носитель, на котором сохранены команды, которые при исполнении одним или более процессорами вызывают выполнение одним или более процессорами операций способов по любому из пп. 1-13.

название	год	авторы	номер документа
РАСПРЕДЕЛЕНИЕ СКОРОСТЕЙ ПЕРЕДАЧИ БИТОВ В ИММЕРСИВНЫХ ГОЛОСОВЫХ И АУДИОСЛУЖБАХ	2020	Тияги, Ришабх Торрес, Хуан Феликс Браун, Стефани	RU2821284C1
ИММЕРСИВНЫЕ ГОЛОСОВЫЕ И АУДИОСЛУЖБЫ (IVAS) СО СТРАТЕГИЯМИ АДАПТИВНОГО ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ	2021	Мундт, Харальд Макграт, Дэвид С. Тияги, Ришабх	RU2821064C1
СПОСОБЫ И УСТРОЙСТВА ДЛЯ ФОРМИРОВАНИЯ ИЛИ ДЕКОДИРОВАНИЯ БИТОВОГО ПОТОКА, СОДЕРЖАЩЕГО ИММЕРСИВНЫЕ АУДИОСИГНАЛЫ	2019	Брун, Стефан Торрес, Хуан Феликс	RU2802677C2
МАСКИРОВАНИЕ ПОТЕРИ ПАКЕТОВ	2021	Мундт, Харальд Брун, Стефан Пурнхаген, Хейко Плеин, Саймон Шуг, Михель	RU2817065C1
УСТРОЙСТВО И СПОСОБ ДЛЯ КОДИРОВАНИЯ ПРОСТРАНСТВЕННОГО ЗВУКОВОГО ПРЕДСТАВЛЕНИЯ ИЛИ УСТРОЙСТВО И СПОСОБ ДЛЯ ДЕКОДИРОВАНИЯ ЗАКОДИРОВАННОГО АУДИОСИГНАЛА С ИСПОЛЬЗОВАНИЕМ ТРАНСПОРТНЫХ МЕТАДАННЫХ И СООТВЕТСТВУЮЩИЕ КОМПЬЮТЕРНЫЕ ПРОГРАММЫ	2020	Кюх, Фабиан Тиргарт, Оливер Фукс, Гийом Дёла, Штефан Бутеон, Александр Херре, Юрген Байер, Штефан	RU2792050C2
СПОСОБЫ И УСТРОЙСТВА ДЛЯ КОДИРОВАНИЯ И/ИЛИ ДЕКОДИРОВАНИЯ АУДИОСИГНАЛОВ ПОГРУЖЕНИЯ	2019	Макграт, Дэвид С. Эккерт, Майкл Пурнхаген, Хейко Брун, Стефан	RU2802803C2
Декодирование битовых потоков аудио с метаданными расширенного копирования спектральной полосы в по меньшей мере одном заполняющем элементе	2016	Виллемоес Ларс Пурнхаген Хейко Экстранд Пер	RU2658535C1
ДЕКОДИРОВАНИЕ БИТОВЫХ ПОТОКОВ АУДИО С МЕТАДАННЫМИ РАСШИРЕННОГО КОПИРОВАНИЯ СПЕКТРАЛЬНОЙ ПОЛОСЫ В ПО МЕНЬШЕЙ МЕРЕ ОДНОМ ЗАПОЛНЯЮЩЕМ ЭЛЕМЕНТЕ	2016	Виллемоес Ларс Пурнхаген Хейко Экстранд Пер	RU2760700C2
АУДИОКОДЕР И АУДИОДЕКОДЕР С МЕТАДАННЫМИ СВЕДЕНИЙ О ПРОГРАММЕ ИЛИ СТРУКТУРЫ ВЛОЖЕННЫХ ПОТОКОВ	2014	Ридмиллер, Джеффри Вард, Майкл	RU2589370C1
АУДИОКОДЕР И АУДИОДЕКОДЕР С МЕТАДАННЫМИ СВЕДЕНИЙ О ПРОГРАММЕ ИЛИ СТРУКТУРЫ ВЛОЖЕННЫХ ПОТОКОВ	2014	Ридмиллер Джеффри Вард Майкл	RU2624099C1

ЖНЕЯ-МОЛОТИЛКА ДЛЯ ПОДСОЛНЕЧНИКА	1930	Азаров Г.Г.	SU23008A1
MPEG meeting; 20140331 - 20140404, Valencia, (Motion Picture Expert Group or ISO/IEC JTC1/SC29/WG11), 20140327
IVAS design constraints from an end-to-end perspective (Dolby Laboratories Inc), 3GPP Draft; S4-181099 - IVAS design constraints from an end-to-end perspective, clean, 20181009 3rd

СПОСОБ И СИСТЕМА ДЛЯ ГЕНЕРИРОВАНИЯ БИТОВОГО ПОТОКА Российский патент 2024 года по МПК G10L19/16

Описание патента на изобретение RU2822169C2

Похожие патенты RU2822169C2

Иллюстрации к изобретению RU 2 822 169 C2

Реферат патента 2024 года СПОСОБ И СИСТЕМА ДЛЯ ГЕНЕРИРОВАНИЯ БИТОВОГО ПОТОКА

Формула изобретения RU 2 822 169 C2

Документы, цитированные в отчете о поиске Патент 2024 года RU2822169C2

RU 2 822 169 C2