Настоящее изобретение относится к технике связи, а конкретнее к способу и системе синхронной телеконференции, и может быть использовано, например, при организации междугородних или международных телемостов или каких-либо иных интерактивных мероприятий подобного масштаба, когда возникает задача синхронизировать, например, звучание двух половин оркестра, расположенных в разных городах, странах или даже на разных континентах.
в настоящее время известно много различных систем телеконференции (конференц-связи), реализующих соответствующие способы. Однако в каждом из них непременным условием является использование видеокодека для преобразования сигнала изображения в цифровой сигнал, что обспечивает более высокую надежность и помехозащищенность передачи, чем при использовании непосредственно аналоговых сигналов без кодирования их к цифровому виду.
В простейшем случае для видеоконференц-связи используются те или иные видеокодеки, имеющие в своем составе также и аудиокодек. Так, в заявке ФРГ N 3828269, 1990 описывается способ кодирования при передаче видеотелефонных сигналов, в котором звуковой и видеосигналы объединяются в один многоканальный сигнал и кодируют его. Этот способ реализуется в системе, имеющей на каждой стороне только один кодек для кодирования общего многоканального сигнала, и соответствующий канал связи для пересылки закодированного сигнала на другую сторону системы. Недостатком этой системы является большая задержка в кодировании объединенного сигнала (по крайней мере, доли секунды), что может не иметь значения в относительно простых случаях разговора по видеотелефону или обычной телеконференции, однако резко осложняет ситуацию в более сложных случаях.
Можно сказать, что существующие в настоящее время видеокодеки рассчитаны в основном на применение в видеотелефонии, где требуется синхронность в воспроизведении звука и изображения, но не в воспроизведении одного и того же звука на разных сторонах системы. Поэтому в существующих и разрабатываемых видеокодеках разработчики стремятся к минимизации задержки между передаваемым изображением и соответствующим ему звуком, как это описано, например, в патенте США N 5550580, 1996 или в выложенной заявке Японии N 08-009353, 1996. В заявке ЕПВ N 0418396, 1991, к примеру, для повышения пропускной способности канала аудио- и видеосигналы балансируются, при этом детектируется информационное содержимое хотя бы одного из них для соответствующего управления содержимым передачи и коррекции разности в скоростях обработки обоих сигналов. Все это подтверждает непригодность существующих видеокодеков для использования в случае синхронного исполнения музыкальных, литературных и тому подобных произведений, когда исполнители находятся в разных местах. Поэтому возникает естественное желание использовать вместе с видеокодеком отдельный аудиокодек.
В выложенной заявке Японии N 07-123388, 1995 описывается система видеоконференции, содержащей на каждой стороне видеокодек и аудиокодек, соединенные с мультиплексором, а также соответствующие каналы связи для соединения между собой мультиплексоров разных сторон. В этой системе передача видео- и аудиоданных происходит согласно Рекомендации H 221 Международного телекоммуникационного союза - МТС (ранее МККТТ, Международный консультативный комитет по телеграфии и телефонии) путем объединения обоих сигналов с помощью соответствующего мультиплексора.
Наиболее близкие к заявленным способ и система описаны в патенте США N 5512938, 1996. Известный из этого патента способ телеконференции включает в себя следующие операции: на каждой из сторон системы телеконференции кодируют предназначенное к передаче изображение заранее заданной сцены на данной стороне и декодируют по меньшей мере один видеосигнал, принимаемый от другой стороны, с помощью видеокодека; на каждой из сторон системы телеконференции кодируют предназначенный к передаче звук той же заранее заданной сцены на данной стороне системы и декодируют по меньшей мере один звуковой сигнал, принимаемый от другой стороны системы, с помощью аудиокодека; на каждой из сторон системы телеконференции мультиплексируют с разделением по времени закодированные видеосигналы и закодированные звуковые сигналы одной и той же сцены на данной стороне и демультиплексируют по меньшей мере один мультиплексированный сигнал, принимаемый от другой стороны; передают мультиплексированные с разделением по времени данные по цифровым многоканальным линиям связи от каждой стороны системы телеконференции ко всем другим сторонам системы телеконференции. Известная из того же патента система телеконференции содержит на каждой своей стороне по меньшей мере один видеокодек для кодирования предназначенного к передаче изображения заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного видеосигнала, принимаемого от другой стороны системы; по меньшей мере один аудиокодек для кодирования предназначенного к передаче звука той же заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного звукового сигнала, принимаемого от другой стороны системы; мультиплексирующее средство, предназначенное для мультиплексирования с разделением по времени закодированных видеосигналов и закодированных звуковых сигналов одной и той же сцены на данной стороне системы и для демультиплексирования по меньшей мере одного мультиплексированного сигнала, принимаемого от другой стороны системы; кроме того, система содержит цифровые многоканальные линии связи для соединения между собой мультиплексирующих средств каждой из сторон системы. Недостатками этих известных способа и системы являются невозможность обеспечить малую (т.е. незаметную для человеческого слуха) задержку по времени между появлением звука на одной стороне и его же звучанием на другой стороне системы телеконференции.
Между тем существует необходимость в таких способах и системах. Например, при организации совместных выступлений музыкантов, находящихся в разных точках земного шара, задержка в передаче звука с одной стороны системы телеконференции на другую сторону должна быть такой, чтобы музыканты удаленной для данного слушателя стороны не отставали бы заметно от музыкантов той стороны, где находится и слушатель. Та же ситуация должна иметь место и для слушателей другой стороны, удаленной для первого слушателя: этот второй слушатель не должен замечать отставания в звучании мелодии, исполняемой музыкантами на стороне первого слушателя. Иными словами, в данном случае на обеих сторонах системы телеконференции мелодия, исполняемая музыкантами на одной стороне, должна звучать синхронно с этой же мелодией, исполняемой музыкантами на другой стороне. Значит, система телеконференции и реализуемый ею способ телеконференции должны быть синхронными, т.е. иметь малую незаметную для человека задержку по времени между совершением какого-нибудь звукового события на одной стороне и его звуковым отображением на другой стороне.
Эта задача решается с достижением вышеуказанного технического результата в заявляемом способе синхронной телеконференции, включающем в себя следующие операции: на каждой из сторон системы телеконференции кодируют предназначенное к передаче изображение заранее заданной сцены на данной стороне и декодируют по меньшей мере один видеосигнал, принимаемый от другой стороны, с помощью видеокодека; на каждой из сторон системы телеконференции кодируют предназначенный к передаче звук той же заранее заданной сцены на данной стороне системы и декодируют по меньшей мере один звуковой сигнал, принимаемый от другой стороны системы, с помощью аудиокодека; на каждой из сторон системы телеконференции мультиплексируют с разделением по времени закодированные видеосигналы и закодированные звуковые сигналы одной и той же сцены на данной стороне и демультиплексируют по меньшей мере один мультиплексированный сигнал, принимаемый от другой стороны; передают мультиплексированные с разделением по времени данные по цифровым многоканальным линиям связи от каждой стороны системы телеконференции ко всем другим сторонам системы телеконференции; благодаря тому, что согласно изобретению кодирование предназначенного к передаче звука проводят с помощью по меньшей мере одного аудиокодека в заданной полосе частот с задержкой кодирования, не превышающей заданной величины, а закодированные звуковые сигналы каждого аудиокодека передают по N цифровым каналам связи, где ΔF - заданная полоса частот, F - полоса пропускания одного цифрового канала связи, ]•[ - целая часть числа.
При этом кодирование предназначенного к передаче звука могут проводить с помощью по меньшей мере одного аудиокодека по меньшей мере во всей полосе частот, слышимых человеком, с задержкой кодирования не более 5 мс.
В качестве цифровых каналов связи могут использоваться либо выделенные каналы, либо коммутируемые каналы.
Та же задача решается с достижением того же технического результата в системе синхронной телеконференции, содержащей на каждой своей стороне по меньшей мере один видеокодек для кодирования предназначенного к передаче изображения заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного видеосигнала, принимаемого от другой стороны системы; по меньшей мере один аудиокодек для кодирования предназначенного к передаче звука той же заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного звукового сигнала, принимаемого от другой стороны системы; мультиплексирующее/демультиплексирующее средство, предназначенное для мультиплексирования с разделением по времени закодированных видеосигналов и закодированных звуковых сигналов одной и той же сцены на данной стороне системы и для демультиплексирования по меньшей мере одного мультиплексированного сигнала, принимаемого от другой стороны системы; кроме того, система содержит цифровые многоканальные линии связи для соединения между собой мультиплексирующих/демультиплексирующих средств каждой из сторон системы; благодаря тому, что согласно изобретению каждый аудиокодек на каждой стороне системы выполнен с возможностью кодировать и декодировать звуковые сигналы в заранее заданной полосе частот с задержкой кодирования, не превышающей данной величины, а число цифровых каналов связи, предназначенных для передачи закодированных звуковых сигналов от каждого аудиокодека, равно где ΔF - заранее заданная полоса частот, F - полоса пропускания одного цифрового канала связи, ]•[ - целая часть числа.
При этом каждый аудиокодек на каждой стороне системы может быть выполнен с возможностью кодировать и декодировать звуковые сигналы по меньшей мере во всей полосе частот, слышимых человеком, с задержкой кодирования не более 5 мс.
В качестве цифровых каналов связи могут быть использованы выделенные каналы или коммутируемые каналы.
Из существующего уровня техники неизвестны объекты, которые содержали бы указанные выше совокупности существенных признаков. Это позволяет считать заявляемые объекты новыми.
Из существующего уровня техники неизвестны также объекты, которые содержали бы указанные выше совокупности отличительных признаков. Хотя сами эти признаки - по меньшей мере их часть - известны из существующего уровня техники, однако соединения этих признаков является новым и предназначено для решения новой задачи, неизвестной ранее. Это позволяет считать, что заявляемые объекты имеют изобретательский уровень.
Изобретение поясняется далее фиг.1 и 2, где одинаковые части на фиг.1 и 2 имеют одни и те же ссылочные позиции.
На фиг.1 изображена общая блок-схема системы по изобретению; на фиг.2 - более подробно выполнение одной стороны в системе по изобретению.
Заявляемый способ синхронной телеконференции реализуется в системе синхронной конференции, общая блок-схема которой показана на фиг.1. Система синхронной телеконференции по изобретению в примере на фиг.1 состоит из первой стороны 1, второй стороны 2 и многоканальных линий 3 связи между ними. Система синхронной телеконференции по изобретению может не ограничиваться лишь двумя сторонами 1 и 2, как это показано на фиг.1 только для простоты восприятия.
На каждой стороне 1 или 2 системы телеконференции имеется по меньшей мере один видеокодек 4, по меньшей мере один аудиокодек 5 и мультиплексирующее/демультиплексирующее средство 6. Каждый видеокодек 4 и каждый аудиокодек 5 соединены с мультиплексирующим/демультиплексирующим средством 6 соответствующими цифровыми каналами 7 или 8 связи.
Мультиплексирующие/демультиплексирующие средства 6 на разных сторонах (1 и 2) системы телеконференции соединены между собой с помощью многоканальных линий 3 связи. Это могут быть линии телефонной сети (включая и спутниковые линии связи) либо линии сети, специально созданной для конкретной системы телеконференции. При этом используемые для связи между сторонами 1 и 2 системы телеконференции каналы линии 3 связи могут быть выделенными или коммутируемыми.
Рассмотрим выполнение одной стороны заявляемой системы телеконференции более подробно, используя для этого фиг.2, где изображена первая сторона 1 системы конференции по изобретению.
В качестве видеокодека 4 в этом примере используется видеокодек системы FOCUS 300, обеспечивающий кодирование изображения с задержкой примерно 0,5 с. Видеокодек 4 указанного типа соединяется с мультиплексирующим/демультиплексирующим средством 6 цифровым каналом 7 типа Х.21, рассчитанным на скорость передачи 1920 Кбайт/с.
Указанный видеокодек имеет также возможность кодировать и речевой сигнал с задержкой 0,5 с и передавать закодированный звуковой сигнал на мультиплексирующее/демультиплексирующее средство 6 по каналу типа Х.21 со скоростью 256 Кбайт/с. Однако в данном случае это свойство видеокодека (кодировать и передавать также и звуковой сигнал) не используется вследствие чрезмерно большой задержки.
Как уже отмечалось выше, в случае организации совместного концерта, когда часть музыкантов находится за многие тысячи километров от остальных, требуется обеспечить на каждой стороне синхронное воспроизведение звуковых сигналов, поступающих от удаленной для данной стороны части музыкантов. Величину допустимой задержки нетрудно подсчитать.
Из практики исполнения музыкальных произведений известно, что длительность целой ноты составляет примерно 0,5 с. Соответственно, длительность ноты в одну тридцать вторую составит 0,5:32 = 0,015625 с или 15,625 мс. Примем (это согласуется с исполнительской практикой), что несинхронность звучания становится заметной, когда одна нота, исполняемая одним музыкантом, начиная звучать на четверть доли раньше или позже, чем та же нота, исполняемая другим(-ими) музыкантом (-ами). Следовательно, для самой короткой ноты в одну тридцать вторую долю допустимая задержка составит 15,625:4 = 3,90625 мс. Ноты в одну шестьдесят четвертую или одну сто двадцать восьмую доли достаточно редки, а кроме того, исполняются настолько быстро, что синхронность в их исполнении в половину или даже целую долю - при условии синхронного исполнения остальных нот - практически не будет заметна. Поэтому задержка в звучании мелодии, исполняемой удаленными музыкантами, должна быть не более 5 мс.
Очевидно, что используемый в данном примере видеокодек 4 имеет слишком большую задержку и потому его аудиочасть не используется. Вместо этого на каждой стороне (на первой стороне 1 в примере фиг.2) системы телеконференции, помимо видеокодека 4, используется еще и аудиокодек 5. В данном случае в качестве этого аудиокодека 5 используется модель NXL 256 фирмы Audio Processing Technology (APT), Великобритания, имеющая задержку в кодировании звукового сигнала не более 5 мс. При этом кодирование осуществляется во всей полосе частот звука, слышимого человеком, т.е. примерно от 20 Гц до 20 кГц. В данном аудиокодеке 5 закодированные сигналы передаются по цифровым каналам связи, имеющим полосу 7 кГц. Поэтому в случае кодирования звуковых сигналов во всей полосе частот, слышимых человеком, потребуется (20000 - 20): 7000 = ]2,854[ + 1 = 3 цифровых канала, где ]•[ - целая часть числа. Для стереоперадачи число цифровых каналов удваивается, т.к. необходимо передавать так называемые левый и правый каналы стереосигнала. В приведенном выше примере потребуется 6 цифровых каналов с полосой 7 кГц каждый. Именно такое количество цифровых каналов имеется в используемом типе аудиокодека. На фиг. 2 показаны цифровой канал 7 связи для подключения видеокодека 4 к мультиплексирующему/демультиплексирующему средству 6 и шесть цифровых каналов 8 для подключения аудиокодека 5 к тому же самому мультиплексирующему/демультиплексирующему средству 6. Разумеется, цифровой канал 7 для видеокодека также может быть на деле группой цифровых каналов с конечной полосой, потребных для передачи цифрового видеосигнала с более широкой полосой, чем у одного цифрового канала. Однако в данном случае указание шести цифровых каналов 8 подчеркивает важность передачи звукового сигнала во всей полосе частот, слышимых человеком.
В качестве мультиплексирующего/демультиплексирующего средства 6 используется любой мультиплексор/демультиплексор или иное устройство с функцией мультиплексирования/демультиплексирования, позволяющее объединять все цифровые сигналы, поступающие на него от кодеков, в общий сигнал для передачи по цифровым многоканальным линиям 3 связи, а также разделять принятый из линий 3 цифровой сигнал на видео- и аудиосигналы и направлять их на соответствующие кодеки 4 или 5. В частности, в качестве средства 6 может использоваться устройство CMUX-2 фирмы GPT, Великобритания.
Заявляемый способ реализуется в рассмотренной системе, которая работает следующим образом.
Пусть для определенности система телеконференции по изобретению используется для обеспечения проведения совместного концерта музыкантов, одна часть которых находится на стороне 1, а другая часть - на стороне 2 этой системы. На любой из сторон 1 и 2 имеется не показанная на фиг. 1 и 2 соответствующая аппаратура - телекамеры, микрофоны, микшерные пульты, мониторы и т.п. - для получения видеосигнала изображения и сопровождающего звукового сигнала, а также мониторы, громкоговорители и т.п. для воспроизведения сигналов изображения и сопровождающего звука от другой стороны системы телеконференции. Вся эта аппаратура может быть любой, т.к. она не входит в объем патентных притязаний по данной заявке, и ее упоминание необходимо лишь для того, чтобы можно было лучше понять работу заявляемой системы синхронной телеконференции и реализуемого в ней способа синхронной телеконференции.
Итак, выделенный для передачи видеосигнал изображения заданной сцены (например, ансамбля музыкантов) поступает на вход видеокодека 4, который преобразует его в цифровой вид, т.е. осуществляет дискретизацию по времени и квантование по уровню входного аналогового сигнала и соответствующее кодирование полученных отсчетов. В некоторых случаях теле- или видеокамера, используемая для съемки заданной сцены, может иметь встроенный видеокодек. Тогда функции видеокодека 4 как бы разделяются между этим встроенным видеокодеком камеры и видеокодеком 4, который в этом случае обеспечивает преобразование поступающего цифрового сигнала в требуемый для передачи стандарт (формат). Закодированный в должном стандарте (формате) видеосигнал подается по цифровому каналу 7 связи на мультиплексирование в мультиплексирующее/демультиплексирующее средство 6, где он объединяется с соответствующими цифровыми сигналами от аудиокодека 5.
На аудиокодек 5 подаются подлежащие передаче звуковые сигналы с упомянутой выше соответствующей аппаратуры, сопровождающие видеосигнал, поступающий на видеокодек 4. В аудиокодеке 5 происходит дискретизация поступающего аналогового сигнала по времени и его квантование по уровню, а также кодирование полученных отсчетов, обеспечивающее задержку не более минимально допустимой (в рассматриваемом примере не более 5 мс). Если на вход аудиокодека 5 поступает уже оцифрованный звуковой сигнал, то аудиокодек 5 производит лишь кодирование поступающих отсчетов сигнала аналогично тому, как это рассмотрено для видеокодека 4. В аудиокодеке 5 кодирование производится по отдельности в каждой полосе частот шириной 7 кГц, после чего закодированный сигнал в каждой полосе частот передается по соответствующему цифровому каналу 8 связи на мультиплексирование с остальными сигналами в других частотных полосах и с закодированным видеосигналом на мультиплексирующее/демультиплексирующее средство 6.
С выхода мультиплексирующего/демультиплексирующего средства 6 объединенный сигнал передается по цифровым многоканальным линиям 3 связи (к примеру, по телефонной сети) на вторую сторону 2 системы телеконференции, с которой, в свою очередь, на первую сторону 1 этой системы передается аналогичный объединенный сигнал. Этот сигнал демультиплексируется (разделяется на видео- и аудиоканалы) в мультиплексирующем/демультиплексирующем средстве 6 первой стороны 1 системы телеконференции и подается по цифровым каналам 7 и 8 связи соответственно на видеокодек 4 и аудиокодек 5. Видеокодек 4 декодирует поступающий от второй стороны 2 сигнал изображения и подает его на соответствующую аппаратуру (мониторы, экраны и т.п.) для воспроизведения перед аудиторией (включая музыкантов, занятых в совместном исполнении музыкального произведения). Аудиокодек 5 декодирует поступающий от второй стороны 2 звуковой сигнал и подает его на соответствующую аппаратуру (громкоговорители, наушники и т.п.) для воспроизведения перед той же аудиторией. Благодаря этому музыканты и другие слушатели, находящиеся на первой стороне 1 системы телеконференции, могут видеть и слышать музыкантов, находящихся на второй стороне 2 этой системы. Аналогично, в силу симметричности сторон 1 и 2 системы синхронной телеконференции по изобретению музыканты и другие слушатели на второй стороне 2 этой системы могут видеть и слышать музыкантов, находящихся на ее первой стороне 1.
При этом следует отметить такое обстоятельство.
В приведенном выше рассмотрении основное внимание было уделено синхронизации звуковых сигналов на обеих сторонах. Это сделано не случайно, поскольку для каждого музыканта наиболее важным является именно звучание других инструментов, а видеоряд при этом, как показывает практика, может несколько не совпадать со звуком. Действительно, в отличие, например, от упомянутых выше патента США N 5550580 или заявки ЕПВ N 0418396, где принимаются специальные меры для синхронизации видеоряда с аудиорядом, в настоящем изобретении такая синхронизация не используется, чтобы не вносить лишних задержек в передаваемый аудиосигнал, зато используется синхронизация аудиосигналов на обеих сторонах 1 и 2 системы телеконференции.
Эффективность заявляемого изобретения была продемонстрирована (без раскрытия существа заявляемого изобретения) в мае 1997 года в Женеве на выставке "Интерактивный Телеком' 97" несколько раз, когда музыканты в Москве и в Женеве вместе исполняли различные музыкальные произведения.
В принципе заявленная система телеконференции может иметь более чем две стороны, что не повлечет за собой дополнения ее существенными признаками, не раскрытыми в данном изобретении.
Заявленная система для удобства музыкантов в приведенном конкретном примере может дополняться отдельной сигнальной линией для передачи, например, сигнала метронома, отсчитывающего такт исполняемого произведения, поскольку некоторое запаздывание изображения вследствие большей задержки, чем у звука, может мешать отдельным исполнителям, особенно на начальном этапе. Однако эта сигнальная линия не является обязательной и не входит в объем патентных притязаний по данной заявке.
Настоящее изобретение, как это видно из приведенного описания, может применяться в различных телеконференциях, когда нужно обеспечить синхронное звучание сигналов, передаваемых с разных сторон системы. Все необходимые для этого части коммерчески доступны в настоящее время для того, чтобы это изображение могло быть реализовано без дополнительного изобретательства. Поэтому заявляемое изобретение можно считать промышленно применимым.
Данное описание не ставит целью ограничить объем заявляемого изобретения приведенными примерами, но служит лишь для иллюстрации его принципов. Объем же патентных притязаний по данному изобретению определяется прилагаемой формулой изобретения с учетом эквивалентов упомянутых в нее существенных признаков.
Изобретение относится к технике связи. Оно может быть использовано при организации междугородних или международных телемостов или когда возникает задача синхронизировать звучание двух половин оркестра, расположенных в разных городах, странах или даже на разных континентах. При этом обеспечивается синхронность звучания одного и того же звука (с незаметной для слушателя задержкой), одновременно начинающегося или заканчивающегося на обеих сторонах системы. Способ по изобретению реализуется в системе, которая содержит на каждой из соединенных цифровыми многоканальными линиями 3 связи сторон видеокодек 4, аудиокодек 5 и мультиплексирующее/демультиплексирующее средство 6. Технический результат достигается благодаря тому, что каждый аудиокодек на каждой стороне системы выполнен с возможностью кодировать и декодировать звуковые сигналы в заранее заданной полосе частот с задержкой кодирования, не превышающей заданной величины, а число цифровых каналов связи, предназначенных для передачи закодированных звуковых сигналов от каждого аудиокодека, равно где ΔF - заранее заданная полоса частот, F - полоса пропускания одного цифрового канала связи, ]•[ - целая часть числа. 2 с. и 6 з.п. ф-лы, 2 ил.
US 5512938 A, 30.04.96 | |||
СИСТЕМА КОНФЕРЕНЦ-СВЯЗИ, УПРАВЛЯЕМАЯ ГОЛОСОМ | 1990 |
|
RU2013019C1 |
Ножка для мебели | 1976 |
|
SU664636A1 |
Устройство для слежения за краем материала | 1975 |
|
SU682436A1 |
US 5568183 A, 22.10.96 | |||
1971 |
|
SU418396A1 | |
Способ восстановления хромовой кислоты, в частности для получения хромовых квасцов | 1921 |
|
SU7A1 |
Топка с несколькими решетками для твердого топлива | 1918 |
|
SU8A1 |
Авторы
Даты
1998-11-20—Публикация
1998-02-10—Подача