СИСТЕМА МНОГОКАНАЛЬНОЙ ВИДЕОСВЯЗИ И СПОСОБ ОБРАБОТКИ МНОГОКАНАЛЬНОЙ ВИДЕОСВЯЗИ Российский патент 2014 года по МПК H04N19/132 H04N21/2343 

Область техники

Настоящее изобретение относится к системе и способу видеосвязи, в частности, к системе многоканальной видеосвязи и способу обработки такой связи.

Уровень техники

По мере развития и роста популярности Интернета и беспроводной связи, многоканальная видеосвязь, включая многопользовательские видеоразговоры, видеоконференции, сетевые видеоигры и т.д., обеспечивает все более удобную и быструю связь между людьми, более широкие возможности для развлечений и поэтому становится все более популярной.

Поскольку при многоканальной видеосвязи многоканальная сеть может быть неоднородной и изменяющейся во времени, а терминалы (например, мобильные телефоны и персональные компьютеры) могут иметь разную обрабатывающую способность, необходимо, чтобы видеокодер мог создавать цифровой поток, удовлетворяющий разным требованиям и адаптирующийся к изменениям в условиях в сети. Кроме того, если количество пользователей, участвующих в видеосвязи, возрастает, объем передаваемых по сети данных соответствующим образом увеличивается и на терминалах также возрастает нагрузка по обработке. Поэтому важно надлежащим образом выделять полосы пропускания для многоканальной видеосвязи для достижения оптимального качества видеосвязи при ограниченных ресурсах полосы пропускания.

При обычной видеосвязи в каждом участвующем в ней клиентском устройстве имеется видеокодек. Параметры кодирования кодека настраиваются для кодирования и декодирования видеосигнала в соответствии с условиями в сети и обрабатывающей способностью терминала среднестатистического пользователя или большинства пользователей. Исходные видеоданные кодируются для создания одного цифрового потока с определенным качеством видеосигнала после декодирования. Этот поток широковещательно передается всем пользователям, участвующим в видеосвязи. От одного источника видеосигнала все пользователи получают видеосигналы одинакового качества. Недостатки обычной технологии очевидны - невозможность адаптироваться к разной обрабатывающей способности терминалов и разным условиям в сети. Для пользователя с относительно хорошими условиями в сети (например, с относительно большой полосой пропускания) или с терминалом с хорошей обрабатывающей способностью (например, способным обрабатывать изображения с высоким разрешением, которые не могут обрабатываться большинством терминалов) ресурсы (полоса пропускания сети или обрабатывающая способность устройства) используются неполностью и качество видеосвязи неоптимально. Для пользователя с относительно плохими условиями в сети (например, с относительно маленькой полосой пропускания или большим трафиком) или с терминалом с плохой обрабатывающей способностью (например, способным обрабатывать изображения только с низким разрешением) видеосвязь может перегружать сеть (что приводит к долговременной буферизации видеопотока) или терминал не может выполнять надлежащую обработку (например, не может обеспечивать нормальное представление видеоизображений).

С учетом указанных выше проблем в каждом клиентском устройстве можно установить отдельный видеокодек для каждого канала подключения к этому устройству и корректировать параметры кодирования каждого видеокодека отдельно в соответствии с условиями в сети для каждого подключения и обрабатывающей способностью терминала, чтобы создавать и передавать цифровые потоки с разным качеством видеосигнала после декодирования для разных терминалов. Однако кодирование видеосигнала имеет высокую вычислительную сложность и выделенный видеокодек необходимо настраивать для каждого терминала, подключаемого к клиентскому устройству Поэтому при увеличении количества видеосоединений будет заниматься много ресурсов обработки и потребляться очень много ресурсов памяти. В результате некоторые портативные устройства не смогут поддерживать многоканальную связь.

Сущность изобретения

Таким образом, в настоящем изобретении предложена система многоканальной видеосвязи, подходящая для разных условий в сети и разных терминалов.

Кроме того, в настоящем изобретении предложен способ обработки многоканальной видеосвязи, подходящий для разных условий в сети и разных терминалов.

Система многоканальной видеосвязи содержит:

масштабируемый видеокодек, предназначенный для кодирования источника видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока и для передачи этого потока модулю усечения цифрового потока;

сетевой модуль, предназначенный для получения сведений о возможностях клиентского устройства и условиях в его сети, передачи этих сведений модулю усечения цифрового потока и передачи окончательного цифрового видеопотока, полученного модулем усечения цифрового потока, удаленному клиентскому устройству;

модуль усечения цифрового потока, предназначенный для передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю управления усечением многоканального цифрового потока, для усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем управления усечением многоканального цифрового потока, и для получения первого окончательного цифрового видеопотока и его передачи сетевому модулю;

модуль управления усечением многоканального цифрового потока, предназначенный для расчета параметра фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети, и для передачи этого параметра модулю усечения цифрового потока.

Способ обработки многоканальной видеосвязи содержит следующие этапы:

кодирование источника видеосигнала с получением масштабируемого исходного цифрового видеопотока;

получение сведений о возможностях удаленного клиентского устройства и условиях в его сети;

расчет параметра фильтрации в соответствии с указанными возможностями устройства и условиями в сети;

усечение исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству.

С помощью многоканальной системы видеосвязи с масштабируемым видеокодеком и благодаря масштабируемости цифрового потока обеспечивается адаптация к обрабатывающей способности разных терминалов и разному состоянию полосы пропускания сети, в результате чего достигается более высокая гибкость по сравнению с режимом широковещательной передачи одного обычного цифрового потока. При этом по сложности масштабируемое кодирование видеосигнала практически не отличается от обычного кодирования. Поэтому многоканальная система видеосвязи с масштабируемым видеокодеком намного проще многоканальной системы видеосвязи с несколькими обычными видеокодеками.

В примерах настоящего изобретения пороговое значение приоритета каждого блока усечения цифрового потока вычисляется в соответствии с обрабатывающей способностью терминала и состоянием полосы пропускания сети в реальном времени с использованием отношения приоритетов всех пакетов цифрового потока в группе изображений, определенной согласно расстоянию до текущего кадра кодирования. Следовательно, усечение цифрового потока выполняется в реальном времени и скорость передачи для него может надлежащим образом адаптироваться к требованиям полосы пропускания. Кроме того, с учетом характеристик искажения скорости многоканального цифрового потока видеосигналам нескольких трактов выделяется соответствующая полоса пропускания, что обеспечивает общее качество оптимизации подхода к многоканальной видеосвязи, благодаря чему повышается общее качество многопользовательской видеосвязи.

Краткое описание рисунков

На фиг.1 схематически показана структура цифрового потока в соответствии с масштабируемым кодированием видеосигнала (SVC - Scalable Video Coding) группы JVT.

На фиг.2 схематически показана структура системы, соответствующая первому варианту изобретения.

На фиг.3 показана блок-схема процедуры обработки многоканальной видеосвязи.

На фиг.4 показана блок-схема процедуры установки порогового значения приоритета.

На фиг.5 схематически представлена структура системы, соответствующая другому варианту изобретения.

Подробное описание изобретения

Масштабируемое кодирование видеосигнала- это схема кодирования, разработанная для гетерогенных сетей и множества терминалов, которая обеспечивает масштабирование цифрового потока в пространственной области, временной области и по качеству В многоканальной видеосвязи масштабируемость цифрового потока позволяет получать и передавать цифровой поток, лучше всего соответствующий возможностям удаленного клиентского устройства и условиям в его сети. В результате ресурсы полосы пропускания сети и обрабатывающая способность клиентского устройства используются надлежащим образом, и общее качество многопользовательской видеосвязи повышается.

Усовершенствованное кодирование видеосигнала (AVC - Advanced Video Coding) группы JVT, определенное на основе стандарта H.264 AVC, обеспечивает масштабируемость в пространственной области, временной области и по качеству, что будет описано ниже.

В отношении масштабируемости в пространственной области следует отметить, что, поскольку разные устройства имеют разную максимальную разрешающую способность для представления изображений, то для обеспечения масштабируемости в пространственной области для каждого кадра изображения в видеосигнале предусматривается несколько пространственных разрешений. Каждое пространственное разрешение соответствует определенному уровню, и разные уровни пространственного разрешения соответствуют разным разрешениям. Такое соответствие предусмотрено в основном для ситуаций, в которых экраны разных принимающих устройств имеют разные разрешения.

Масштабируемость во временной области достигается с помощью структуры иерархического кодирования В-изображений. Каждому кадру изображения назначается некоторый уровень временной области, и выполняется предсказание с компенсацией движения с использованием изображений более низких уровней временной области в качестве опорных кадров для изображений более высоких уровней временной области.

Иерархическое кодирование B-изображений - это схема кодирования, полностью соответствующая стандарту H.264/AVC. В ней используется пирамидный порядок кодирования. Согласно иерархическому кодированию В-изображений, если эти изображения, закодированные до кодирования определенного изображения, отображаются до отображения определенного изображения, это определенное изображение называется ключевым кадром. При использовании иерархического кодирования B-изображений первый кадр видеопоследовательности кодируется как I-кадр, а затем кодируются ключевые кадры. Ключевой кадр может кодироваться как I-кадр или как P-кадр, с использованием предыдущего ключевого кадра в качестве опорного изображения. Другие изображения в группе изображений кодируются с использованием кодирования B-кадров, но кодирование выполняется в пирамидном порядке. В качестве примера рассмотрим группу изображений, состоящую из восьми кадров. Первым кодируется 8-й кадр, затем - 4-й кадр и затем - 2-й и 6-й кадры. Наконец, кодируются 1-й, 3-й, 5-й и 7-й кадры. Пирамидный порядок кодирования обеспечивает масштабируемость во временной области (классификацию по времени). Все ключевые кадры формируют видеопоследовательность с самой большой степенью детализации в разрешении по времени. Разрешение по времени увеличивается с увеличением порядка кодирования изображений и в конечном счете получается видеопоследовательность с полным разрешением по времени.

Что касается масштабирования по качеству, то исходный видеосигнал кодируется для создания нескольких уровней качества цифрового потока. Эти уровни качества включают в себя уровень базового качества и несколько уровней повышенного качества. Уровнем качества цифрового потока для пространственного разрешения может быть уровень базового качества или один из нескольких уровней повышенного качества. Уровень базового качества включает в себя видеосигналы и является самым основным и наиболее важным уровнем качества. Получив информацию, содержащую уровень базового качества, принимающая сторона может обработать ее для получения изображения с базовым качеством (т.е. изображения, удовлетворяющего базовым требованиям для идентификации). Уровень повышенного качества содержит подробную информацию видеосигналов. Получив эту подробную информацию, принимающая сторона может обработать ее одновременно на уровнях базового и повышенного качества с получением изображения, характеризующегося более высоким качеством. Уровни повышенного качества получаются путем постепенного уменьшения длины блока квантификации. В результате качество изображений, получаемых путем декодирования уровня базового качества и уровней повышенного качества, постепенно повышается.

Для заданного пространственного разрешения в результате кодирования JVT SVC данные цифрового потока упаковываются с одним уровнем качества каждого кадра в пакет цифрового потока. На фиг.1 показана структура цифрового потока, содержащая два уровня пространственной области (уровни 0 и 1 для форматов QCIF (Quarter Common Intermediate Format) (176 пикселов × 144 пиксела) и CIF (352 пиксела × 288 пикселов) соответственно) и четыре уровня временной области (уровни 0-3 для частот кадров 3,75 кадров в секунду 7,5 кадров в секунду, 15 кадров в секунду, 30 кадров в секунду соответственно). Каждый пространственный уровень содержит три уровня качества.

Вариант 1

В многопользовательской видеосвязи одновременно участвуют по меньшей мере три пользователя в сети, взаимодействующие друг с другом через клиентские устройства системы многоканальной видеосвязи.

На фиг.2 показаны модули системы многоканальной видеосвязи. На этой фигуре локальное клиентское устройство 500 участвует в видеосвязи с N (N≥2) удаленными клиентскими устройствами.

Система многоканальной видеосвязи содержит масштабируемый видеокодек 100, модуль 200 усечения цифрового потока, состоящий из N блоков усечения цифрового потока, сетевой модуль 300, состоящий из N блоков подключения к сети, соединенных с N блоками усечения цифрового потока, и модуль 400 управления усечением многоканального цифрового потока, соединенный с N блоками усечения цифрового потока.

Масштабируемый видеокодек 100 выполнен с возможностью кодирования источника видеосигнала для создания масштабируемого исходного цифрового видеопотока, передачи этого потока модулю 200 усечения цифрового потока и декодирования цифрового видеопотока, получаемого сетевым модулем 300 от удаленного клиентского устройства для создания видеоизображения.

Сетевой модуль 300 выполнен с возможностью получения сведений о возможностях удаленного клиентского устройства и условиях в его сети, передачи этих сведений модулю 200 усечения цифрового потока, передачи окончательного цифрового видеопотока, полученного от модуля 200 усечения цифрового потока, удаленному клиентскому устройству и передачи цифрового видеопотока удаленного клиентского устройства масштабируемому видеокодеку 100.

Модуль 200 усечения цифрового потока выполнен с возможностью передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю 400 управления усечением многоканального цифрового потока, фильтрации исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем 400 управления усечением многоканального цифрового потока, получения окончательного цифрового видеопотока и передачи его сетевому модулю 300.

Модуль 200 усечения цифрового потока состоит из по меньшей мере двух блоков усечения цифрового потока, а сетевой модуль 300 - из по меньшей мере двух блоков подключения к сети.

Блоки усечения цифрового потока соединены с блоками подключения к сети по принципу «один к одному». Блок подключения к сети подключается к удаленному клиентскому устройству. Блок усечения цифрового потока фильтрует исходный цифровой видеопоток в соответствии с параметром фильтрации, предоставленным модулем 400 управления усечением многоканального цифрового потока, и получает окончательный цифровой видеопоток. Блок подключения к сети получает сведения о возможностях удаленного клиентского устройства и условиях в его сети и отправляет эти сведения блокам усечения цифрового потока, а также передает получаемый от удаленного устройства цифровой видеопоток масштабируемому видеокодеку или передает окончательный цифровой видеопоток локального клиентского устройства удаленному клиентскому устройству.

Модуль 400 управления усечением многоканального цифрового потока настраивает параметр фильтрации для усечения цифрового потока в соответствии с полученными сведениями о возможностях удаленного клиентского устройства и условиях в его сети и передает этот параметр модулю 200 усечения цифрового потока.

Модуль 400 управления усечением многоканального цифрового потока содержит блок 402 памяти и вычислительный блок 404. Блок 402 памяти служит для хранения данных параметра, связанного с фильтрацией. Вычислительный блок 404 предназначен для расчета параметра фильтрации для модуля 200 усечения цифрового потока в соответствии с возможностями устройства, условиями в сети и данными этого параметра.

Во время видеосвязи блок усечения цифрового потока и блок подключения к сети устанавливают для каждого удаленного клиентского устройства, чтобы обеспечить связь с ним.

Как видно из фиг.2, в соответствии с направлением потока данных локального клиентского устройства масштабируемый видеокодек 100 подключен к N блокам усечения цифрового потока (первому блоку 202 усечения цифрового потока, второму блоку 204 усечения цифрового потока, ……, N-му блоку 206 усечения цифрового потока). Первый блок 202 усечения цифрового потока подключен к первому блоку 302 подключения к сети, второй блок 204 усечения цифрового потока подключен ко второму блоку 304 подключения к сети, ……, N-й блок 206 усечения цифрового потока подключен к N-му блоку 306 подключения к сети. Первый блок 302 подключения к сети подключен к первому клиентскому устройству 502, второй блок 304 подключения к сети подключен ко второму клиентскому устройству 504, ……, N-й блок 306 подключения к сети подключен к N-му клиентскому устройству 506.

Все N блоков подключения к сети, входящие в сетевой модуль 300, соединены с видеокодеком 100.

Рассмотрим в качестве примера процесс от установления до разъединения соединения между локальным клиентским устройством 500 и первым удаленным клиентским устройством 502, показанными на фиг.2. Процедура обработки многоканальной видеосвязи с помощью системы многоканальной видеосвязи с описанной выше структурой проиллюстрирована на фиг.3. Она может включать в себя следующие процедуры.

На этапе S101 локальное клиентское устройство 500 выясняет, является ли первое удаленное клиентское устройство 502, с которым только что установлено соединение, первым клиентским устройством, установившим соединение с этим локальным клиентским устройством. Системе многоканальной видеосвязи локального клиентского устройства 500 требуется только один масштабируемый видеокодек 100. Поэтому если первое удаленное клиентское устройство 502 является первым устройством, установившим соединение, в локальном клиентском устройстве необходимо установить масштабируемый видеокодек 100. Если впоследствии другое клиентское устройство устанавливает соединение, устанавливать другой масштабируемый видеокодек 100 не требуется, так как используется существующий видеокодек. По этой причине при установлении каждым клиентским устройством соединения с локальным клиентским устройством выясняется, является ли это клиентское устройство первым подключаемым устройством.

На этапе S102 кодируют источник видеосигнала с получением масштабируемого исходного цифрового видеопотока. Масштабируемый видеокодек 100 кодирует источник видеосигнала по правилам JVT SVC с получением масштабируемого исходного цифрового видеопотока, т.е. цифрового потока с пакетами для различных уровней временной области, уровней пространственной области и уровней качества. В каждом пакете цифрового потока имеется идентификатор, представляющий данные пакета. Идентификаторы (т.е. данные пакетов цифрового потока) передаются в блок 402 памяти модуля 400 управления усечением многоканального цифрового потока и сохраняются в нем.

На этапе S103 принимают сведения о возможностях клиентского устройства и условиях в его сети. Рассмотрим в этой связи первый блок 302 подключения к сети, получающий сведения о возможностях устройства и условиях в его сети. Условия в сети могут включать в себя максимально доступную полосу пропускания восходящего канала локального клиентского устройства 500 и максимально доступную полосу пропускания нисходящего канала первого удаленного клиентского устройства 502. Возможности устройства могут включать в себя максимальное разрешение дисплея и максимальную частоту кадров первого удаленного клиентского устройства 502. Все эти сведения передаются первому блоку 202 усечения цифрового потока.

На этапе S104 выполняют настройку параметра фильтрации в соответствии с возможностями устройства и условиями в сети. В частности, параметр фильтрации первого блока 202 усечения цифрового потока настраивают в соответствии с возможностями и условиями в сети клиентского устройства 502, подключенного к этому блоку Пакеты цифрового потока, не удовлетворяющие условию, заданному параметром фильтрации, не проходят через первый блок 202 усечения цифрового потока. Подробно процедура фильтрации пакетов будет рассмотрена ниже при описании этапов S402-S410.

На этапе S105 путем фильтрации исходного цифрового видеопотока в соответствии с параметром фильтрации получают окончательный цифровой видеопоток, направляемый удаленному клиентскому устройству. После определения, параметра фильтрации первый блок 202 усечения цифрового потока выполняет усечение исходного цифрового видеопотока, получает окончательный цифровой видеопоток и направляет его первому удаленному клиентскому устройству 502 через первый блок 302 подключения к сети.

На этапе S106 выясняют, выключено ли удаленное клиентское устройство. После выключения первого удаленного клиентского устройства 502 первый блок 202 усечения цифрового потока и первый блок 302 подключения к сети, выделенные для этого клиентского устройства, больше не требуются. Поэтому они отключаются для освобождения занятых ресурсов. Если обнаруживается, что первое удаленное клиентское устройство 502 выключено, выполняют этап S109, а в противном случае - этап S107.

На этапе S107 выясняют, выключено ли локальное клиентское устройство 500. При отсутствии необходимости в видеосвязи локальное клиентское устройство 500 выключается и ресурсы, занятые всеми участвовавшими в обеспечении связи модулями, также освобождаются. Если обнаруживается, что локальное клиентское устройство 500 выключено, выполняют этап S110, а в противном случае - этап S108.

Этапы S107 и S106 могут выполняться параллельно или один за другим.

На этапе S108 спустя некоторое время проверяют условия в сети. Поскольку условия в сети нестабильны, при их изменении необходимо корректировать параметр фильтрации. Поэтому для своевременного выяснения условий в сети первого удаленного клиентского устройства 502 их требуется проверять через определенные интервалы времени.

На этапе S109 соответствующие блок подключения к сети и блок усечения цифрового потока отключаются. Когда первое удаленное клиентское устройство 502 завершает видеосвязь, первый блок 302 подключения к сети и первый блок 202 усечения цифрового потока отключаются.

На этапе S110 отключаются сетевой модуль и блок усечения цифрового потока. Когда локальное клиентское устройство 500 выключается, видеосоединения со всеми удаленными клиентскими устройствами разъединяются. Следовательно, все модули 200 усечения цифрового потока и сетевые модули 300, участвовавшие в видеосвязи, больше не требуются и поэтому отключаются для освобождения занятых ресурсов системы. Затем выполняют этап S112.

На этапе S111 проверяют наличие какого-либо клиентского устройства, подключенного к локальному клиентскому устройству 500. Если обнаруживается, что первое удаленное клиентское устройство 502 выключено, выясняется, является ли оно последним клиентским устройством. Если все подключенные удаленные клиентские устройства выключены, выполняют этап S112. В противном случае процедура обработки связи между локальным клиентским устройством 500 и первым удаленным клиентским устройством 502 завершается.

На этапе S112 отключается масштабируемый видеокодек 100 и обработка видеосвязи завершается.

На этапе S104 получение адаптивного цифрового потока обеспечивается усечением цифрового потока в реальном времени, т.е. путем настройки параметра фильтрации в реальном времени. Таким образом, настоящее изобретение предоставляет способ вычисления порогового значения приоритета для каждого блока усечения цифрового потока в соответствии с приоритетами всех пакетов цифрового потока, расположенных относительно текущего кадра кодирования на расстоянии, не превышающем размер группы изображений. После получения порогового значения приоритета с использованием описанного выше способа пакеты цифрового потока с приоритетом выше порогового значения проходят через блок усечения цифрового потока и передаются, а пакеты цифрового потока с приоритетом ниже порогового значения не проходят через этот блок. Здесь группа изображений состоит из кадров, расположенных между ключевым кадром и предыдущим ключевым кадром.

В блоке 402 памяти модуля 400 усечения многоканального цифрового потока хранится циклическая очередь данных всех пакетов цифрового потока в последней группе изображений. Данные каждого пакета цифрового потока включают в себя приоритет p_k, уровень временной области t_k, уровень пространственной области s_k и приращение скорости передачи R_k. R_k=l_k×Fps_max/GopSize для пакета k цифрового потока. R_k определяет приращение сетевых ресурсов для передачи пакета цифрового потока, l_k - длина пакета k цифрового потока, Fps_max - частота кадров, соответствующая максимальному уровню временной области, GopSize - число изображений, входящих в одну группу изображений.

Предположим, что в масштабируемом видеокодеке 100 локального терминала 500 имеется S уровней пространственной области и T уровней временной области. s_i представляет уровень пространственной области, соответствующий максимальному разрешению дисплея i-го клиентского устройства, подключенного к локальному клиентскому устройству, a f_i - уровень временной области, соответствующий максимальной частоте кадров i-го клиентского устройства, подключенного к локальному клиентскому устройству B_up0 представляет максимально доступную полосу пропускания восходящего канала локального клиентского устройства, a B_0i - максимально доступную полосу пропускания нисходящего канала локального клиентского устройства i. В процедуре вычисления порогового значения приоритета в модуле 400 управления усечением многоканального цифрового потока могут также храниться скорость передачи для каждого тракта усекаемых в настоящий момент цифровых потоков (т.е. текущая скорость передачи R_i), сумма скоростей передачи всех усекаемых в настоящий момент цифровых потоков (т.е. общая скорость передачи R_sum) и текущее пороговое значение приоритета каждого блока i усечения цифрового потока.

На этапе S104 параметром фильтрации является пороговое значение приоритета, используемое для выполнения фильтрации в соответствии с приоритетами пакетов цифрового видеопотока. Процесс настройки порогового значения приоритета в вычислительном блоке 404 представлен на фиг.4. Как видно из фигуры, этот процесс включает в себя следующие процедуры.

На этапе S402 данные пакетов цифрового потока, хранящиеся в циклической очереди блока 402 памяти, сортируют в порядке убывания приоритетов и пакетам цифрового потока назначают числовые индексы 0, 1, 2, … n, где n - количество пакетов цифрового потока в циклической очереди.

На этапе S404 все пакеты цифрового потока просматриваются всеми блоками усечения цифрового потока в порядке убывания приоритетов, т.е. в порядке возрастания индексов.

На этапе S406 проверяют выполнение условия обновления порогового значения приоритета. Условие обновления следующее:

s(Index)≤s_i, f(Index)≤f_i, R_i+R(Index)≤B_0i, R_sum+R(Index)≤B_up0

где s(Index), f(Index) и R(Index) - уровень пространственной области, частота кадров и приращение скорости передачи пакета цифрового потока с числовым индексом Index соответственно. Представленное выше условие обновления означает, что передача изображения с уровнем качества текущего пакета цифрового потока не превышает возможности подключенного клиентского устройства i, скорость передачи в восходящем направлении не превышает полосу пропускания восходящего канала локального клиентского устройства и скорость передачи в нисходящем направлении не превышает максимально доступную полосу пропускания нисходящего канала к подключенному клиентскому устройству i. Это означает, что пороговое значение приоритета можно уменьшить для передачи пакетов цифрового потока более высокого качества и более низкого приоритета. Если условие обновления выполнено, выполняют обработку согласно этапу S408, а в противном случае - согласно этапу S410.

На этапе S408 обновляют пороговое значение приоритета блока усечения цифрового потока, текущую скорость передачи и текущую общую скорость передачи:

Threshold_i=P(Index)

R_i=R_i+R(Index)

R_sum=R_sum+R(Index)

В качестве порогового значения приоритета устанавливают значение приоритета пакетов цифрового потока, удовлетворяющих в данный момент условию обновления. Новая текущая скорость передачи устанавливается равной сумме текущей скорости передачи и приращения скорости передачи, а новая текущая общая скорость передачи - сумме текущей общей скорости передачи и приращения скорости передачи.

На этапе S410 проверяют, все ли пакеты цифрового потока просмотрены всеми блоками усечения цифрового потока. Если да, процедура сравнения завершается; в противном случае происходит переход к блоку S404 для обработки другого пакета цифрового потока.

Поскольку видеопоследовательности в коротком интервале времени похожи по своему содержимому, приоритеты всех пакетов цифрового потока группы изображений в структуре иерархического кодирования В-изображений могут примерно отражать отношение приоритетов пакетов цифрового потока во всей видеопоследовательности. Следовательно, вычисление порогового значения приоритета каждого блока усечения цифрового потока на основе приоритетов всех пакетов цифрового потока, расположенных относительно текущего кадра кодирования на расстоянии в пределах размера группы изображений, не только обеспечивает получение цифрового потока в реальном времени, но и гарантирует точное соответствие скорости передачи усеченного цифрового потока требованиям к полосе пропускания и почти оптимальное качество видео.

Вариант 2

В этом варианте, помимо модулей, описанных применительно к варианту 1, в систему многоканальной видеосвязи входит также модуль 600 клиентских данных (см. фиг.5). Этот модуль содержит таблицу данных клиентских устройств. Он может получать коммуникационные данные удаленного клиентского устройства через сетевой модуль 300 и отправлять их модулю 400 управления усечением многоканального цифрового потока.

Таблица данных клиентских устройств содержит информацию по видеосвязи, например IP-адрес или сетевой физический адрес, максимальное разрешение, максимальную частоту кадров, максимальную полосу пропускания восходящего канала клиентского устройства и т.д.

После добавления указанной выше информации в таблицу данных клиентских устройств сведения о возможностях удаленного клиентского устройства можно получать разными способами. Когда удаленное клиентское устройство подключается к локальному клиентскому устройству, удаленному клиентскому устройству передается таблица данных локального клиентского устройства. Пока соединение не установлено, в таблице данных клиентских устройств локального клиентского устройства содержатся только данные терминала этого устройства. После установления соединения полученная таблица данных удаленного клиентского устройства и таблица данных локального клиентского устройства объединяются для получения новой таблицы данных клиентских устройств. Таким образом, касающиеся видеосвязи данные каждого клиентского устройства могут быть получены посредством запроса таблицы данных клиентских устройств перед передачей цифрового потока.

Процедура обработки многоканальной видеосвязи в варианте 2 аналогична процедуре обработки, описанной для варианта 1. Поэтому здесь она рассматриваться не будет.

Описанные выше варианты представляют только некоторые примеры реализации настоящего изобретения. Они рассмотрены подробно, но не ограничивают объем притязаний данного изобретения. Любая модификация, эквивалентная замена и улучшение, которые могут быть сделаны в рамках настоящего изобретения специалистами данной области техники, должны расцениваться как подпадающие под объем притязаний данного изобретения. Таким образом, объем притязаний настоящего изобретения ограничивается только пунктами приложенной формулы.

Изобретение относится к области видеосвязи, в частности к системе многоканальной видеосвязи и способу обработки такой связи. Техническим результатом является создание эффективной системы многоканальной видеосвязи, подходящей для разных условий в сети и терминалов с разной обрабатывающей способностью. Указанный технический результат достигается тем, что система многоканальной видеосвязи содержит: масштабируемый видеокодек, модуль усечения цифрового потока, сетевой модуль и модуль управления усечением многоканального цифрового потока. Масштабируемый видеокодек кодирует источник видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока. Модуль усечения цифрового потока установлен между масштабируемым видеокодеком и сетевым модулем. Модуль усечения цифрового потока предназначен для усечения исходного цифрового видеопотока с получением окончательного цифрового видеопотока и передает этот поток удаленному клиенту через сетевой модуль. Модуль управления усечением многоканального цифрового потока соединен с модулем усечения цифрового потока и он рассчитывает параметр фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети. 2 н. и 12 з.п. ф-лы, 5 ил.

1. Система многоканальной видеосвязи, содержащая:
масштабируемый видеокодек, предназначенный для кодирования источника видеосигнала с обеспечением создания масштабируемого исходного цифрового видеопотока и для передачи этого потока модулю усечения цифрового потока;
сетевой модуль, предназначенный для получения сведений о возможностях удаленного клиентского устройства и условиях в его сети, передачи этих сведений модулю усечения цифрового потока и передачи окончательного цифрового видеопотока, полученного модулем усечения цифрового потока, удаленному клиентскому устройству;
модуль усечения цифрового потока, предназначенный для передачи сведений о возможностях удаленного клиентского устройства и условиях в его сети модулю управления усечением многоканального цифрового потока, для усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, переданным модулем управления усечением многоканального цифрового потока, и для получения окончательного цифрового видеопотока и его передачи сетевому модулю;
модуль управления усечением многоканального цифрового потока, предназначенный для расчета параметра фильтрации каждого блока усечения цифрового потока в модуле усечения цифрового потока, согласно полученным сведениям о возможностях удаленного клиентского устройства и условиях в его сети, и для передачи этого параметра модулю усечения цифрового потока;
причем модуль управления усечением многоканального цифрового потока служит для сортировки данных пакетов цифрового потока в группе изображений в порядке убывания приоритетов; для назначения данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначаются меньшие числовые индексы; для просмотра каждым блоком усечения цифрового потока всех пакетов цифрового потока в порядке возрастания числовых индексов; для проверки выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети подключенного клиентского устройства; для установления порогового значения приоритета, равным значению приоритета пакета цифрового потока, удовлетворяющего в данный момент условию обновления, если определено, что условие обновления выполнено; для проверки, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока; для завершения обработки, если обработаны все пакеты цифрового потока; или для обработки другого пакета цифрового потока, если обработаны не все пакеты; и для передачи модулю усечения цифрового потока порогового значения приоритета в качестве параметра фильтрации.

2. Система по п.1, в которой модуль усечения цифрового потока содержит по меньшей мере два блока усечения цифрового потока, а сетевой модуль содержит по меньшей мере два блока подключения к сети;
причем указанные по меньшей мере два блока усечения цифрового потока соединены по принципу «один к одному» с указанными по меньшей мере двумя блоками подключения к сети, каждый из которых подключен к удаленному клиентскому устройству;
при этом блок усечения цифрового потока служит для блокирования пакетов цифрового потока, приоритет которых ниже порогового значения приоритета, вычисленного модулем управления усечением многоканального цифрового потока, и для получения окончательного цифрового видеопотока;
причем блок подключения к сети предназначен для получения сведений о возможностях удаленного клиентского устройства и условиях в его сети и для передачи этих сведений блоку усечения цифрового потока, а также для передачи окончательного цифрового видеопотока локального клиентского устройства удаленному клиентскому устройству.

3. Система по п.1 или 2, в которой модуль управления усечением многоканального цифрового потока содержит блок памяти и вычислительный блок, причем блок памяти предназначен для хранения данных, связанных с усечением цифрового потока, а вычислительный блок служит для расчета параметра фильтрации для каждого блока усечения цифрового потока в модуле усечения цифрового потока в соответствии с возможностями устройства, условиями в сети и данными этого параметра;
причем указанные данные, связанные с усечением цифрового потока, содержат по меньшей мере один из следующих компонентов: уровень приоритета, уровень временной области, уровень пространственной области, размер пакета цифрового потока, частота кадров, соответствующая максимальному уровню временной области, и количество изображений в группе изображений.

4. Система по п.1, содержащая также модуль клиентских данных, который служит для получения коммуникационных данных удаленного клиентского устройства через сетевой модуль и передачи этих данных модулю управления усечением многоканального цифрового потока;
причем модуль клиентских данных содержит таблицу с клиентскими данными, представляющими собой коммуникационные данные локального клиентского устройства и всех удаленных клиентских устройств, подключенных к этому локальному клиентскому устройству, при этом указанные коммуникационные данные содержат по меньшей мере один из следующих компонентов: IP-адрес, сетевой физический адрес, максимальное разрешение, максимальная частота кадров и максимальная полоса пропускания восходящего направления.

5. Система по п.3, содержащая также:
первый модуль, предназначенный для сортировки данных пакетов цифрового потока в блоке памяти в порядке убывания приоритетов и для назначения данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначаются меньшие числовые индексы;
при этом блок усечения цифрового потока предназначен также для просмотра всех пакетов цифрового потока в блоке памяти в порядке возрастания числовых индексов, для проверки выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети клиентского устройства, соответствующего этому блоку, и для обновления порогового значения приоритета, если условие обновления выполнено.

6. Способ обработки многоканальной видеосвязи, содержащий следующие этапы:
кодирование источника видеосигнала с получением масштабируемого исходного цифрового видеопотока;
получение сведений о возможностях удаленного клиентского устройства и условиях в его сети;
расчет параметра фильтрации в соответствии с указанными возможностями устройства и условиями в сети;
усечение исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
причем указанный этап расчета параметра фильтрации предусматривает:
сортировку данных пакетов цифрового потока в группе изображений в порядке убывания приоритетов пакетов цифрового потока; назначение данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначают меньшие числовые индексы;
просмотр каждым блоком усечения цифрового потока пакетов цифрового потока в порядке возрастания числовых индексов; проверку выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети подключенного клиентского устройства; установление порогового значения приоритета, равным значению приоритета пакета цифрового потока, удовлетворяющего в данный момент условию обновления, если определено, что условие обновления выполнено; проверку, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока;
завершение обработки, если обработаны все пакеты цифрового потока; или обработку другого пакета цифрового потока, если обработаны не все пакеты;
принятие полученного порогового значения приоритета в качестве параметра фильтрации.

7. Способ по п.6, в котором усечение исходного цифрового видеопотока в соответствии с параметром фильтрации предусматривает блокирование пакетов цифрового потока, приоритет которых ниже порогового значения приоритета.

8. Способ по п.7, в котором данные пакета цифрового потока содержат приоритет, уровень временной области, уровень пространственной области и приращение скорости передачи, причем способ предусматривает также при кодировании каждого кадра изображения добавление данных всех пакетов цифрового потока, соответствующих изображению, в циклическую очередь данных всех пакетов цифрового потока в группе изображений.

9. Способ по п.6, содержащий также следующие этапы: когда одно из удаленных клиентских устройств участвует в многоканальной видеосвязи, перед кодированием источника видеосигнала для создания масштабируемого исходного цифрового видеопотока выясняют, является ли это удаленное клиентское устройство первым устройством, подключаемым к локальному клиентскому устройству, если да, то создают масштабируемый видеокодек, в противном случае кодирование источника видеосигнала выполняют с помощью существующего масштабируемого видеокодека.

10. Способ по п.6, содержащий также следующие этапы: проверку, выключено ли локальное клиентское устройство после усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
отключение сетевого модуля, модуля усечения цифрового потока и масштабируемого видеокодека для завершения локальной многоканальной видеосвязи; либо продолжение многоканальной видеосвязи, проверку условий в сети через определенные интервалы и корректировку параметра фильтрации для усечения исходного цифрового видеопотока при обнаружении того, что локальное клиентское устройство не выключено.

11. Способ по п.6, содержащий также следующие этапы: проверку, выключено ли удаленное клиентское устройство после усечения исходного цифрового видеопотока в соответствии с параметром фильтрации, получение окончательного цифрового видеопотока и передачу его удаленному клиентскому устройству;
отключение модуля подключения к сети и блока усечения цифрового потока, соответствующих удаленному клиентскому устройству, проверку наличия другого подключения, отключение масштабируемого видеокодека при обнаружении выключения удаленного клиентского устройства и отсутствия другого подключения; либо продолжение многоканальной видеосвязи, проверку условий в сети через определенные интервалы и корректировку параметра фильтрации для усечения исходного цифрового видеопотока при обнаружении выключения удаленного клиентского устройства и наличия другого подключения.

12. Способ по п.8, в котором указанный этап расчета параметра фильтрации включает:
сортировку данных пакетов цифрового потока в циклической очереди в порядке убывания приоритетов, назначение данным пакетов цифрового потока числовых индексов, причем данным пакетов цифрового потока с более высокими приоритетами назначают меньшие числовые индексы;
просмотр каждым блоком усечения цифрового потока всех пакетов цифрового потока в порядке возрастания числовых индексов; проверку выполнения условия обновления на основе обрабатывающей способности и полосы пропускания сети всех подключенных клиентских устройств; обновление порогового значения приоритета, если условие обновления выполнено, проверку, все ли пакеты цифрового потока обработаны, после просмотра всеми блоками усечения цифрового потока текущего пакета цифрового потока;
завершение обработки, если обработаны все пакеты цифрового потока, или обработку другого пакета цифрового потока, если обработаны не все пакеты.

13. Способ по п.12, в котором указанное условие обновления включает в себя:
уровень пространственной области текущего пакета цифрового потока не больше уровня пространственной области, соответствующего максимальному разрешению дисплея проверяемого клиентского устройства;
уровень временной области текущего пакета цифрового потока не больше уровня временной области, соответствующего максимальной частоте кадров проверяемого клиентского устройства;
скорость передачи в направлении проверяемого клиентского устройства, т.е. сумма текущей скорости передачи и приращения скорости передачи, не превышает максимально доступную полосу пропускания нисходящего канала проверяемого клиентского устройства;
текущая общая скорость передачи, т.е. сумма текущей общей скорости передачи и приращения скорости передачи, не превышает максимально доступную полосу пропускания восходящего канала локального клиентского устройства;
причем при одновременном выполнении перечисленных выше условий пороговое значение приоритета устанавливают равным значению приоритета текущего пакета цифрового потока, текущую скорость передачи устанавливают равной сумме текущей скорости передачи и приращения скорости передачи, и текущую общую скорость передачи устанавливают равной сумме текущей общей скорости передачи и приращения скорости передачи.

14. Способ по п.8 или 3, в котором приращение скорости передачи определяют по выражению R_k=l_k×Fps_max/GopSize, где l_k - длина пакета k цифрового потока, Fps_max - частота кадров, соответствующая максимальному уровню временной области, GopSize - число изображений, входящих в одну группу изображений.